В этот праздничный сезон я пересматриваю некоторые из самых важных статей по искусственному интеллекту за последний год.
Недавно я начал выпускать образовательный информационный бюллетень, посвященный ИИ, на который уже подписано более 70 000 человек. TheSequence - это информационный бюллетень, ориентированный на ML (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Наша цель - держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Большинство усилий в области языкового интеллекта сосредоточено на учебных моделях для извлечения знаний из текстовых наборов данных. Эта парадигма предполагает, что целевые знания уже встроены в набор данных и не требуют каких-либо дополнительных разъяснений, но это редко напоминает то, как учатся люди. Когда появляется новая тема, мы постоянно вынуждены задавать вопросы и уточнять ее. Что, если бы мы могли встроить тот же навык в модели искусственного интеллекта (ИИ).
Умение формулировать вопросы - фундаментальный элемент процесса познания человека. Краеугольный камень человеческих диалогов зависит от нашей способности выражать вопросы множеством способов, чтобы получить конкретный ответ. Переформулировка вопроса помогает людям преодолеть неопределенность, проясняя конкретный момент. В последние годы область искусственного интеллекта (ИИ) добилась невероятных успехов в системах обработки естественного языка (НЛП), которые ориентированы на вопросы и ответы (QA). Несмотря на прогресс, большинство ответов на вопросы НЛП объясняются отсутствием способности справляться с неопределенностью, как это сделали бы люди, путем переформулирования вопросов, выполнения множественных поисков, оценки и агрегирования ответов. Около года назад исследователи искусственного интеллекта из Google опубликовали исследовательский документ и пакет TensorFlow с открытым исходным кодом, в котором предлагается метод обучения с подкреплением для обучения агентов активному ответу на вопросы.
Идея, лежащая в основе активных агентов по ответам на вопросы (AQA) Google, относительно проста. Задавая конкретный вопрос, агент AQA переформулирует вопрос несколько раз, чтобы подтвердить правильный ответ. Например, рассмотрим вопрос «Когда родился Tesla?». Агент переформулирует вопрос двумя разными способами: «Когда день рождения Теслы» и «В каком году родился Тесла», получая ответы на оба вопроса из системы контроля качества. Используя всю эту информацию, он решает вернуть «10 июля 1856 г.».
Внутри AQA
Агент активных ответов на вопросы (AQA) Google основан на трех основных компонентах: среде, моделях переформулирования и выбора ответов. Модель AQA взаимодействует со средой черного ящика. AQA запрашивает у него множество вариантов вопроса и, наконец, возвращает лучший из найденных ответов.
Вопросно-ответная среда
Среда AQA основана на моделях BiDirectional Attention Flow (BiDAF). BiDAF - это конкурентные нейронные модели с ответами на вопросы, которые способны создавать контекстное представление с учетом запросов без раннего резюмирования. В случае AQA BiDAF может выбирать ответы из смежных частей данного документа. На заданный вопрос среда возвращает ответ, а во время обучения - награду.
Модель переформулирования
Google AQA использует предварительно обученную модель от последовательности к последовательности для своего механизма переформулирования. Методы "последовательность-последовательность" стали популярными в нескольких областях НЛП, включая машинный перевод. В некоторой степени перевод - это переформулировка на другом языке 😉. В случае AQA система переформулирования получает вопрос и возвращает свои переформулировки на том же языке оригинала.
Одно из основных отклонений от традиционного метода «последовательность-последовательность» состоит в том, что Google AQA использует методы обучения с подкреплением и методы градиента политики. Для заданного вопроса q0 мы хотим вернуть наилучший возможный ответ a *, максимизируя вознаграждение a * = argmaxa R (ajq0). Вознаграждение рассчитывается относительно исходного вопроса q0, а ответ предоставляется на q.
Модель выбора ответа
Роль модели выбора ответов состоит в том, чтобы определять лучшие ответы из набора сгенерированных ответов {a1, a2… .an}. Во время обучения AQA получает доступ к вознаграждению за ответ, возвращаемый для каждой переформулировки ци. Однако во время тестирования мы должны предсказать лучший ответ a *. Проблема выбора вопросов оформлена как задача бинарной классификации, позволяющая различать производительность выше и ниже среднего. Во время обучения AQA вычисляет оценку F1 ответа для каждого случая. Если перезапись дает ответ с оценкой F1 больше, чем средняя оценка других перезаписей, экземпляру присваивается положительная метка.
Команда Google оценила различные варианты, такие как FFNN, LSTM или CNN, чтобы реализовать модель выбора ответов. Хотя все варианты дали сопоставимые результаты, CNN предлагали некоторые преимущества с точки зрения вычислительной эффективности. В конечном итоге модель выбора ответов AQA была реализована с использованием предварительно обученных встраиваний для токенов запроса, перезаписи и ответа. Для каждого внедрения AQA добавляет одномерную CNN с последующим максимальным объединением. Затем три результирующих вектора объединяются и передаются через сеть прямой связи, которая производит выходные данные.
AQA в действии
Команда Google оценила свою модель активного ответа на вопросы (AQA), используя различные эксперименты. Примечательно, что они использовали набор данных SearchQA, который основан на наборе подсказок Jeopardy. Подсказки представляют собой запутанные запросы, такие как Этот «Отец нашей страны» на самом деле не рубил вишневое дерево ». Каждая подсказка связана с правильным ответом, например Джорджа Вашингтона и список фрагментов из лучших результатов поиска Google. SearchQA содержит более 140 тыс. Пар вопросов / ответов и 6,9 млн фрагментов. AQA был обучен на наборе данных SearchQA и смог превзойти другие методы ответов на вопросы, такие как Base-NMT или MI-SubQuery, как показано в следующем разделе.
Переформулировка вопросов - это часть сущности человеческих диалогов. Хотя агентам ИИ еще предстоит пройти долгий путь, чтобы работать в среде, похожей на человеческую, такие методы, как Google AQA, обеспечивают более эффективный способ уменьшить неопределенность, задавая правильные вопросы.
