В других местах есть много объяснений, здесь я хотел бы поделиться некоторыми примерами вопросов в настройках интервью.
На прошлой неделе мы присоединились к хайпу вокруг ChatGPT. Продолжая ту же мысль, давайте подумаем больше о проблемах информационного поиска и понимания естественного языка.
Что такое поиск информации (IR)?
Как соотносятся друг с другом понимание естественного языка (NLU) и поиск информации?
Один из моих друзей является экспертом в области IR, и в прошлом я также сталкивался с некоторыми вариантами использования. Ниже приведены примеры некоторых выделенных ролей для IR:
- Продукт Google IR: Описание работы
- Инженер Linkedin по связям с инвесторами: Описание работы
- Инженер по поиску Wayfair: Описание работы
- TikTok MLE Поиск: Описание работы
- Инженер-поисковик Airbnb: Описание работы
Вот несколько советов для читателей:
Вопрос 1:
Информационный поиск (ИП) — это поиск материалов (обычно документов) неструктурированного характера (обычно текстовых), которые удовлетворяют потребность в информации. в больших коллекциях (обычно хранящихся на компьютерах).
Посмотрите, как Омар Хаттаб из Стэнфорда раскрывает это определение:
Вопрос 2.
Во-первых, запросы и документы часто выражаются на естественном языке. Поэтому мы, естественно, хотим понять значение запроса и его цель, а также понять содержание документа и его темы, чтобы иметь возможность эффективно сопоставлять запросы с документами. Форма понимания имеет решающее значение, хотя вы можете довольно далеко продвинуться во многих задачах IR, разумно сопоставляя термины на лексическом уровне.
С другой стороны, IR может способствовать NLU тремя интересными способами:
- IR предоставляет богатый источник для создания сложных и реалистичных задач NLU, где важен поиск информации из большого массива данных.
- IR предлагает мощный инструмент для повышения точности и эффективности моделей NLU для существующей задачи.
- IR часто может предоставить нам хорошую основу для оценки систем NLU, когда область вывода велика, как при поиске, или когда важна низкая задержка, что является ключевыми характеристиками в IR.
Посмотрите, как это объясняет Омар Хаттаб из Стэнфорда (не забудьте посмотреть немного дольше, чтобы услышать полную историю!):
Удачной практики!
Спасибо, что читаете мою рассылку. Вы можете подписаться на меня в Linkedin или Twitter @Angelina_Magr!
Примечание. Существуют разные точки зрения на вопрос интервью. Автор этого информационного бюллетеня не пытается найти ссылку, исчерпывающе отвечающую на вопрос. Скорее, автор хотел бы поделиться некоторыми быстрыми выводами и помочь читателям подумать, попрактиковаться и провести дополнительные исследования по мере необходимости.
Источник цитат/видео: НЛУ и поиск информации| Stanford CS224U Понимание естественного языка | Весна 2021 от Омара Хаттаба
Источник изображений/хорошее чтение: Introduction to Information Retrieval, Christopher D. Manning, Prabhakar Raghavan и Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008.