Идея о том, что машинные разговоры могут быть более «реалистичными», чем человеческие разговоры, может показаться абсурдной или даже логически ошибочной. И все же мы приближаемся к цели. Новая настраиваемая нейронная сеть в масштабе гигабайт от Microsoft DialogGPT (диалоговый генерирующий предварительно обученный преобразователь) - это виртуальный мастер общения, который превосходит сильные базовые системы в генерации релевантных и контекстно-согласованных ответов и достигает производительности, близкой к человеческому уровню в задачах генерации диалоговых ответов.
Большинство открытых систем генерации нейронных ответов страдают от несогласованности контента из-за отсутствия долгосрочной контекстной информации. Такие проблемы можно решить, увеличив информационное наполнение, и это то, что успешно сделали унифицированные преобразователи текста в текст. GPT-2, текстовый генератор OpenAI, который может убедительно преобразовать приглашение в новостную статью, стихотворение или другой текстовый стиль, использует многоуровневый механизм самовнимания, который позволяет лучше сохранять информацию о долгосрочных зависимостях во времени, что в некоторой степени устраняет проблему несогласованности контента.
DialogGPT расширяет GPT-2 для решения задач генерации диалоговых нейронных ответов. Как и GPT-2, DialogGPT представляет собой авторегрессионную языковую модель с многоуровневой трансформирующей архитектурой, которая моделирует сеанс многооборотного диалога как длинный текст (объединяет все диалоги в рамках сеанса диалога) и формирует задачу генерации как языковое моделирование (посредством оптимизация произведения условной вероятности целевых предложений на исходное предложение).
Однако, в отличие от GPT-2, который был обучен на 40 ГБ случайного текста в Интернете, DialogGPT был обучен специально на диалоговых парах, извлеченных из цепочек комментариев, извлеченных из Reddit. Это позволяет DialogGPT захватывать совместное распределение цели и источника с более высокой степенью детализации и генерировать более разнообразную информацию, которая остается верной подсказке источника.
DialogGPT наследует большую часть своей сетевой структуры от GPT-2, включая преобразователь уровней с 12 в 24 с нормализацией уровней, схему инициации для глубины модели и кодирование пар байтов для токенизатора. Чтобы лучше решить проблему несогласованного контента, генерируемого генераторами текста открытого домена, DialogGPT также реализует функцию оценки максимальной взаимной информации (MMI), которая интуитивно наказывает мягкие, неинформативные и чрезмерно обобщенные гипотезы.
Исследователи также провели эксперименты с использованием задач сквозного разговорного моделирования в DSTC-7 Dialogue Generation Challenge. В отличие от диалоговых задач с конкретными и узкими целями, такими как бронирование рейса или резервирование столика в ресторане, задача DSTC-7 состоит в том, чтобы генерировать свободные человекоподобные разговоры, подобные тем, которые встречаются на собраниях мозгового штурма, а также надлежащим образом вводить информацию основанный на внешнем знании.
Было замечено, что DialogGPT набрал примерно столько же, сколько и человеческая достоверная справка в исследовании. Повторное ранжирование ответов с использованием MMI тем временем увеличило разнообразие ответов и позволило достичь более высоких показателей NIST, METEOR, энтропии и расстояния по сравнению с жадной генерацией с низким уровнем вычислений.
Статья DialoGPT: Крупномасштабное генеративное предварительное обучение для генерации диалогового ответа находится на arXiv.
Автор: Геката Хе | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
