5 января этого года модель ИИ впервые превзошла людей в понимании прочитанного. Модель SLQA+ (ансамбль) от Alibaba зафиксировала оценку точного совпадения 82,44 против человеческой оценки 82,304 в наборе данных SQuAD.
Оказывается, модель Microsoft r-net+ (ансамбль) за два дня до этого набрала 82,650. И с тех пор две другие модели также превзошли человеческий показатель ЭМ. Хотя ни одна из моделей еще не превзошла человеческий балл F1 (точность, полнота) 91,21, эти события еще больше подчеркивают бешеный темп, с которым развиваются модели RC, что является хорошей новостью, поскольку понимание прочитанного (RC) является ключевым элементом интеллектуальные агентные системы.
Интеллектуальные агенты и понимание машинного чтения
Создание интеллектуальных агентов, способных с высокой точностью отвечать на открытые и даже закрытые вопросы, было ключевой целью большинства лабораторий искусственного интеллекта. Интеллектуальные агенты с возможностями RC и вопросов-ответов (QA) могут помочь системам персональных помощников с искусственным интеллектом, таким как Alexa, Google Assistant, Siri, Cortana и т. д., работать лучше и помочь предприятиям использовать интеллектуальные боты-агенты в дополнение к агентам-людям или напрямую обрабатывать трафик чата и обмена сообщениями и может быть, даже голос в какой-то степени.
Модели машинного понимания/машинного чтения/машинного чтения позволяют компьютерам читать документ и отвечать на общие вопросы по нему. Хотя это относительно элементарная задача для человека, для моделей ИИ это не так просто. Доступно несколько моделей NTM (Neural Turning Machine), сетей памяти и моделей внимания для понимания прочитанного. Список моделей SQuAD можно найти здесь.
В качестве первого шага к созданию нашей системы интеллектуальных агентов (humanly.ai) мы также создаем систему машинного чтения. Наша реализация основана на модели ансамбля BiDAF (двунаправленный поток внимания) и Textual Entailment. Он еще в процессе (EM 67% и F1 77%), и иногда он дает забавные ответы, но вы можете попробовать здесь.
Основные проблемы
Одной из основных проблем, с которыми мы столкнулись, была обработка вопросов, которые требовали ответов типа да/нет (дальнейший вывод между вопросом, ответом и документом) — и, следовательно, реализация модуля Textual Entailment. Другое наблюдение заключалось в том, чтобы отвечать полными предложениями (Да, Нарендра Моди является премьер-министром Индии вместо Да на вопрос Является ли Нарендра Моди премьер-министром Индии?) и для этого в качестве следующего продукта мы сейчас планируем внедрить модель Seq2Seq для форматирования наших ответов.
Но одна серьезная проблема, с которой сталкиваются все системы машинного чтения, особенно когда речь идет о практической реализации для конкретных доменов или вертикалей, — это отсутствие контролируемых данных обучения (помеченных данных) для этого домена. Все современные модели понимания чтения построены на контролируемых обучающих данных с помеченными вопросами и ответами/абзацами с ответами и т. д. Поэтому, когда дело доходит до новых доменов, в то время как у предприятий есть артефакты и данные, отсутствие помеченных данных представляет собой проблему. .
В настоящее время мы экспериментируем с набором моделей машинного чтения, каждая из которых обучена определенному набору данных, чтобы обучение было постепенным. В то время как оценки модели улучшаются, но потребность в помеченных данных домена для обучения модели MRC в первую очередь все еще сохраняется. В связи с этой проблемой я наткнулся на два очень изящных решения, которые пытаются перенести домен от Microsoft — SynNet и ReasoNet, которые мы намерены исследовать дальше.
Модель двухэтапных сетей синтеза или SynNet сначала обучается на контролируемых данных для заданной вертикали и изучает технику выявления шаблонов для критической информации (именованные объекты, точки знаний и т. д.), а затем генерирует вопросы вокруг этих ответов. После обучения он может генерировать псевдовопросы и ответы относительно артефактов для нового домена. Затем их можно использовать для обучения MRC в новом домене.
Сеть рассуждений или ReasoNet по существу использует обучение с подкреплением, чтобы динамически определять, когда у нее достаточно информации, чтобы ответить на вопрос, и что ей следует прекратить чтение. Это отклонение от подхода, использующего фиксированное количество ходов в процессе вывода о взаимосвязи между вопросами, артефактами и ответами. Это также работало исключительно в наборе данных SQuAD.
Мы преодолеем
Поскольку различные модели продолжают появляться, разумно предположить, что рано или поздно (особенно из-за наличия большого количества наборов данных, которые сами быстро растут, кстати, MS MARCO V2 становится доступной 01/03/2018), что модели машинного понимания будут быть в состоянии преодолеть ключевые проблемы и приблизить нас к цели интеллектуальных агентов, которые могут быть обучены стандартным документам и отвечать на общие вопросы — как это делают люди (что также является подписью для человеческих .ai кстати :P )
Я очень надеюсь, что вы смогли не обращать внимания на вопиющие заглушки для humanly.ai :P и нашли этот пост полезным для получения некоторого базового понимания машинного понимания. Как всегда, оставляйте свои комментарии и мысли, включая любые аспекты, которые я мог пропустить. Я буду более чем счастлив включить их.
Отказ от ответственности: Вышеприведенный пост никоим образом не претендует на какие-либо авторские права на любое из представленных изображений или литературы.
