Глубокое обучение
Microsoft Research обучает нейронные сети понимать, что они читают
Новые модели проникают в новые области глубокого обучения, известные как машинное понимание прочитанного.
Недавно я начал выпускать образовательный информационный бюллетень, посвященный ИИ, на который уже подписано более 80 000 человек. TheSequence - это информационный бюллетень, ориентированный на ML (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Наша цель - держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Понимание машинного чтения (MRC) - новая дисциплина в области глубокого обучения. С концептуальной точки зрения MRC фокусируется на моделях глубокого обучения, которые могут отвечать на интеллектуальные вопросы о конкретных текстовых документах. Для людей понимание прочитанного - это врожденный когнитивный навык, развиваемый с первых дней учебы в школе или даже раньше. Читая текст, мы инстинктивно извлекаем ключевые идеи, которые позволят нам ответить на будущие вопросы по этой теме. В случае моделей искусственного интеллекта (ИИ) этот навык все еще в значительной степени недостаточно развит.
Первое широко принятое поколение методов понимания естественного языка (NLU) было сосредоточено в основном на обнаружении намерений и концепций, связанных с конкретным предложением. Мы можем рассматривать эти модели как первый уровень знаний, обеспечивающий понимание прочитанного. Однако для полного понимания машинного чтения необходимы дополнительные строительные блоки, которые могут экстраполировать и соотносить вопросы с конкретными разделами текста и создавать знания из определенных разделов документа.
Одна из самых больших проблем в области MRC заключается в том, что большинство моделей основано на контролируемом обучении с наборами данных, которые содержат не только документы, но и потенциальные вопросы и ответы. Как вы понимаете, этот подход не только очень сложно масштабировать, но и практически невозможно реализовать в некоторых областях, в которых данные просто недоступны. Недавно исследователи из Microsoft предложили интересный подход к решению этой проблемы в алгоритмах MRC.
В статье под названием Двухэтапные сети синтеза для передачи обучения в машинном понимании компания Microsoft Research представила метод, называемый сетями двухэтапного синтеза или SynNet, который применяет трансферное обучение для уменьшения усилий по обучению модели MRC. SynNet можно рассматривать как двухэтапный подход к накоплению знаний, связанных с конкретным текстом. На первом этапе SynNet изучает общую схему выявления потенциальной интересности в текстовом документе. Это ключевые точки знаний, именованные сущности или семантические концепции, которые обычно являются ответами, которые могут спросить люди. Затем, на втором этапе, модель учится формировать вопросы на естественном языке вокруг этих потенциальных ответов в контексте статьи.
В SynNet замечательно то, что после обучения модель может быть применена к новому домену, читать документы в новом домене, а затем генерировать псевдо-вопросы и ответы на эти документы. Затем он формирует необходимые данные для обучения для обучения системы MRC для этой новой области, которая может быть новой болезнью, справочником для сотрудников новой компании или руководством по новому продукту.
Многие ошибочно связывают технику MRC с более развитой областью машинного перевода. В случае моделей MRC, таких как SynNet, проблема заключается в том, что им необходимо синтезировать как вопросы , так и ответы для документа. Хотя вопрос является синтаксически понятным предложением на естественном языке, ответ в основном представляет собой заметное семантическое понятие в абзаце, такое как именованный объект, действие или число. Поскольку ответ имеет другую лингвистическую структуру, чем вопрос, может быть более подходящим рассматривать ответы и вопросы как два разных типа данных. SynNet материализуется в этой теории, разделяя процесс генерации пар вопрос-ответ на два основных этапа: генерация ответа, обусловленная абзацем, и генерация вопроса, обусловленная абзацем и ответом.
Вы можете думать о SynNet как об учителе, который очень хорошо генерирует вопросы из документов, основываясь на своем опыте. Узнав о соответствующих вопросах в одном домене, он может применять те же шаблоны к документам в новом домене. Исследователи Microsoft применили принципы SynNet к различным моделям MRC, в том числе к недавно опубликованной ReasoNet, которая показала многообещающие перспективы сделать понимание машинного чтения реальностью в ближайшем будущем.
