Чат-боты с искусственным интеллектом сейчас очень популярны и представляют собой плодородную область исследований в области машинного обучения. Исследователи со всего мира прилагают все усилия, чтобы раздвинуть границы того, чего мы можем ожидать от чат-ботов. В этой статье я исследовал предпечатный сервер arXiv.org на предмет 10 самых убедительных исследовательских работ по чат-ботам в области ИИ за 2019 год. Это впечатляющий список! Если хотя бы половина предлагаемых технологий найдет свое применение в продуктах или инструментах разработчика, нас ждет веселая поездка в 2020 году и в последующий период.
[Статья по теме: Лучшее исследование НЛП 2019 года]
Самообучение на основе обратной связи в крупномасштабных диалоговых агентах ИИ
Сегодня большинство крупномасштабных диалоговых агентов ИИ (например, Alexa, Siri или Google Assistant) построены с использованием аннотированных вручную данных для обучения различных компонентов системы. Как правило, точность моделей машинного обучения в этих компонентах повышается за счет ручного транскрибирования и аннотирования данных. По мере того, как объем этих систем увеличивается, чтобы охватить большее количество сценариев и областей, ручное аннотирование для повышения точности этих компонентов становится непомерно дорогостоящим и требует много времени. В этой статье группа исследователей Amazon предлагает систему, которая использует сигналы обратной связи взаимодействия пользователя с системой для автоматизации обучения без каких-либо ручных аннотаций. Здесь пользователи, как правило, изменяют предыдущий запрос в надежде исправить ошибку предыдущего хода, чтобы получить правильные результаты. Этим переформулировкам, которым часто предшествуют дефекты, вызванные ошибками в ASR, NLU, ER или приложении. В некоторых случаях пользователи могут неправильно сформулировать свои запросы (например, предоставить частичное название песни), но анализ более широкого круга пользователей и сеансов выявляет лежащие в основе повторяющиеся шаблоны. Предлагаемая самообучающаяся система автоматически обнаруживает ошибки, генерирует переформулировки и развертывает исправления в системе времени выполнения для исправления различных типов ошибок, возникающих в различных компонентах системы. Результаты показывают, что этот подход хорошо масштабируем и способен изучать новые формулировки, которые уменьшают количество ошибок пользователей Alexa за счет объединения анонимных данных по миллионам клиентов.
Улучшение контекста разговора в чат-ботах на основе поиска
Работа с чат-ботами на основе поиска, как и большинство задач сопоставления пар последовательностей, может быть разделена на кросс-кодировщики, которые выполняют сопоставление слов по паре, и би-кодировщики, которые кодируют пару отдельно. Последний имеет лучшую производительность, однако, поскольку ответы кандидатов не могут быть закодированы в автономном режиме, он также намного медленнее. В последнее время архитектуры многоуровневых преобразователей, предварительно обученные в качестве языковых моделей, были использованы для большого эффекта в различных задачах обработки естественного языка и поиска информации. Недавняя работа показала, что эти языковые модели могут использоваться в сценариях сопоставления текста для создания двухканальных кодеров, которые работают почти так же хорошо, как перекрестные кодеры, имея гораздо более высокую скорость вывода. В этом документе эта работа расширяется за счет разработки архитектуры сопоставления последовательностей, которая учитывает контексты в обучающем наборе данных во время вывода.
Chat-Bot-Kit: веб-инструмент для имитации текстового взаимодействия между людьми и компьютерами
В этой исследовательской статье о чат-ботах описывается Chat-Bot-Kit, веб-инструмент для текстовых чатов, который мы разработали для исследовательских целей в области компьютерной коммуникации (CMC). Chat-Bot-Kit позволяет проводить языковые исследования в текстовых чатах в реальном времени с целью исследования: сгенерированные сообщения структурированы с данными языковой производительности, такими как пауза и скорость работы с клавиатурой и движение мыши. Инструмент предоставляет два режима общения в чате - квазисинхронный и синхронный - и различные индикаторы набора текста. Этот инструмент также предназначен для использования в исследованиях «волшебник из страны» в области взаимодействия человека и компьютера (HCI) и для оценки чат-ботов (диалоговых систем) в обработке естественного языка (NLP).
Неконтролируемое изменение контекста для разговора в открытом домене
Контекстное моделирование играет ключевую роль в диалоге в открытой предметной области. Существующие работы либо используют эвристические методы, либо совместно изучают контекстное моделирование и генерацию ответов с помощью фреймворка кодировщика-декодера. В этой статье предлагается явный метод перезаписи контекста, который перезаписывает последнее высказывание с учетом истории контекста. Этот метод использует псевдопараллельные данные и создает сеть перезаписи контекста, которая построена на CopyNet с методом обучения с подкреплением. Переписанное высказывание полезно для поиска кандидатов, моделирования объяснимого контекста, а также позволяет использовать однооборотную структуру для многооборотного сценария. Эмпирические результаты показывают, что модель превосходит базовые показатели с точки зрения качества перезаписи, генерации многооборотных ответов и чат-ботов на основе сквозного поиска.
Служба знаний о договорных положениях для чат-ботов
По отношению к разговорным агентам, которые способны решать более сложные вопросы об условиях контрактов, формализация условий контракта в машиночитаемой форме имеет решающее значение. Однако построение формальной модели, охватывающей весь объем контракта, оказывается трудным из-за общей сложности, которую представляет собой набор правил. Вместо этого в данной статье представлен нисходящий подход к проблеме. После определения наиболее релевантных условий контракта их основные правила моделируются с помощью нового метода инженерии знаний. Для этого был разработан удобный инструмент, позволяющий делать это легко и масштабно. Затем операторы отображаются в виде службы, поэтому их можно легко интегрировать в любую платформу чат-бота.
Разработка диалоговых систем: подлый, сварливый, саркастичный чат-бот в браузере
В этой исследовательской работе с искусственным интеллектом чат-бота исследуется система диалога, основанная на глубоком обучении, которая генерирует саркастические и юмористические ответы с точки зрения дизайна беседы. Исследователи обучили модель seq2seq на тщательно подобранном наборе данных из 3000 пар вопросов и ответов, составляющих основу нашего злого, сварливого и саркастичного чат-бота. Затем работа продолжилась, чтобы показать, что сквозные системы очень быстро изучают шаблоны из небольших наборов данных и, таким образом, могут передавать простые лингвистические структуры, представляющие абстрактные концепции, в невидимые настройки. Также была развернута модель кодировщика-декодера на основе LSTM в браузере, где пользователи могут напрямую взаимодействовать с чат-ботом. Люди-оценщики оценили лингвистическое качество, креативность и человеческие черты, выявив сильные стороны, ограничения и потенциал системы для будущих исследований.
Говори, что я хочу: к темной стороне моделей нейронного диалога
Модели нейронного диалога получили широкое распространение в различных приложениях чат-ботов из-за их хорошей производительности при имитации и обобщении человеческих разговоров. Однако у этих моделей есть и обратная сторона - из-за уязвимости нейронных сетей пользователи могут манипулировать моделью нейронного диалога, чтобы говорить то, что они хотят, что вызывает опасения по поводу безопасности практических сервисов чат-ботов. В этой статье исследуется, можем ли мы разработать вводные данные, которые приводят хорошо обученную модель нейронного диалога в виде черного ящика к получению целевых результатов. Это сформулировано как проблема обучения с подкреплением (RL) и обучения генератора обратных диалогов, который эффективно находит такие входные данные для целевых выходов. Эксперименты, проведенные на репрезентативной модели нейронного диалога, показывают, что предлагаемая модель способна обнаруживать такие желаемые входные данные в значительной части случаев. В целом, работа выявляет эту слабость моделей нейронного диалога и может побудить к дальнейшим исследованиям по разработке соответствующих решений, чтобы ее избежать.
InstructableCrowd: Создание правил IF-THEN для смартфонов посредством разговоров с толпой
Интерфейсы на естественном языке стали обычной частью современной цифровой жизни. Чат-боты используют текстовые разговоры для общения с пользователями; личные помощники на смартфонах, такие как Google Assistant, принимают прямые голосовые команды от своих пользователей; а устройства с речевым управлением, такие как Amazon Echo, используют голос в качестве единственного режима ввода. Этот документ знакомит с InstructableCrowd, системой, основанной на привлечении пользователей, которая позволяет пользователям программировать свои устройства посредством разговора. Пользователь устно сообщает системе о проблеме, в которой группа рабочих коллективно реагирует и программирует соответствующие правила IF-THEN, состоящие из нескольких частей, чтобы помочь пользователю. Правила IF-THEN, созданные InstructableCrowd, связывают соответствующие комбинации датчиков (например, местоположения, погоды, ускорения устройства и т. Д.) С полезными эффекторами (например, текстовыми сообщениями, сигналами тревоги устройств и т. Д.). Исследование показало, что непрограммисты могут использовать диалоговый интерфейс InstructableCrowd для создания правил IF-THEN, которые имеют аналогичное качество по сравнению с правилами, созданными вручную. InstructableCrowd обычно иллюстрирует, как пользователи могут общаться со своими устройствами, не только для запуска простых голосовых команд, но и для персонализации своих все более мощных и сложных устройств.
В последнее время чат-боты привлекли повышенное внимание промышленности и различных исследовательских сообществ в качестве диалогового интерфейса, обеспечивающего расширенное взаимодействие человека с компьютером. С другой стороны, открытые данные продолжают оставаться важной тенденцией и потенциальным средством повышения прозрачности правительства и участия граждан. В этом документе показано, как эти две парадигмы могут быть объединены, чтобы помочь пользователям, не являющимся экспертами, находить и открывать открытые наборы государственных данных посредством диалога.
[Статья по теме: Самое влиятельное исследование глубокого обучения 2019 года]
#MeTooMaastricht: создание чат-бота для помощи жертвам сексуальных домогательств
Вдохновленный недавним социальным движением #MeToo, этот исследовательский документ с искусственным интеллектом чат-бота описывает создание чат-бота для помощи пережившим случаи сексуальных домогательств (разработан для города Маастрихт, но может быть легко расширен). У этой работы двоякая мотивация: должным образом помогать пережившим такие события, направляя их в соответствующие учреждения, которые могут предложить им помощь, и увеличивать объем документации об инцидентах, чтобы собрать больше данных о случаях домогательств, о которых в настоящее время не сообщается. В работе проблема разбивается на три компонента науки о данных / машинного обучения: идентификация типа преследования (рассматриваемая как проблема классификации), извлечение пространственно-временной информации (рассматриваемое как проблема распознавания именованных сущностей) и диалог с пользователями (рассматриваемый как слот- наполнение на основе чат-бота). Исследователи смогли достичь более 98% успеха при выявлении случаев домогательств и около 80% при выявлении конкретных типов домогательств. Места и даты идентифицируются с точностью более чем 90%, а временные события оказываются более сложными почти на 80%. Наконец, первоначальная проверка чат-бота показывает большой потенциал для дальнейшего развития и внедрения такого полезного инструмента для всего общества.
Хотите узнать больше о чат-ботах и других новых инициативах в области исследования данных? Отправляйтесь в ODSC East в Бостоне 13–17 апреля и учитесь напрямую у специалистов по данным!
