Чат-боты зависят от домена и должны обнаруживать нерелевантность

Как обрабатывать разговоры пользователей, которые вне домена

Введение

Как вы разрабатываете для пользовательского ввода, не имеющего отношения к вашему дизайну…

Как правило, чат-боты разрабатываются и разрабатываются для определенного домена. Эти области узки и применимы к интересам организации, которую они обслуживают. Следовательно, чат-боты создаются по индивидуальному заказу и специально создаются как продолжение деятельности организации, как правило, для того, чтобы клиенты могли самообслуживаться.

В качестве дополнительного элемента, чтобы сделать чат-бота более интерактивным и реалистичным, а также антропоморфизировать интерфейс, вводится светская беседа. Также называется болтовней.

Но что произойдет, если высказывание пользователя выходит за пределы этой узкой области? В большинстве реализаций наиболее высокая оценка присваивается высказыванию пользователя в безумной попытке поля запроса.

Отказ от назначения ложного намерения

Таким образом, вместо того, чтобы заявить, что намерение выходит за рамки, в отчаянной попытке обработать высказывание пользователя чат-бот назначает пользователю наиболее подходящее намерение; часто ошибаюсь.

В качестве альтернативы чат-бот продолжает информировать пользователя, которого он не понимает; и постоянное перефразирование ввода пользователем. Вместо того, чтобы чат-бот просто формулировал вопрос, он не является частью его домена.

Удобный элемент дизайна - два или три предложения, которые служат вступлением для начинающих пользователей; набросок сути домена чат-бота.

Традиционные подходы:

Придумывается и вводится множество примеров, выходящих за рамки охвата. Что никогда не бывает успешным.
Предпринимаются попытки устранить неоднозначность ввода пользователя.

Но на самом деле чат-бот должен просто заявить, что запрос находится за пределами его домена, и дать пользователю указания.

OOD и ID

Таким образом, вводимые пользователем данные можно в общих чертах разделить на две группы: In-Domain (ID) и Out-Of- Входные данные домена (OOD). Входы ID - это то место, где вы можете прикрепить ввод пользователя к намерению на основе существующих данных обучения. Обнаружение OOD относится к процессу пометки данных, которые не соответствуют ни одной метке в обучающем наборе; намерение.

Традиционно для обучения OOD требуются большие объемы обучающих данных, поэтому OOD плохо работает в текущих средах чат-ботов.

Преимущество большинства сред разработки чат-ботов - очень ограниченный объем обучающих данных; возможно от 15 до 20 примеров высказываний на одно намерение.

Мы не хотим, чтобы разработчики тратили много времени на элемент, не являющийся частью ядра бота.

Проблема в том, что вам как разработчику необходимо предоставить данные для обучения и примеры. OOD или нерелевантный ввод - это, возможно, бесконечное количество сценариев, поскольку нет границ, определяющих несоответствие.

идеальным является создание модели, которая может обнаруживать входные данные OOD с очень ограниченным набором данных, определяющих намерение; или нет обучающих данных OOD вообще.

Второй вариант - идеальный…

Определение нерелевантности с помощью Watson Assistant

В BM Watson Assistant вы можете научить свой навык диалога распознавать, когда вводимые данные относятся к темам, которые относятся к OOD.

Беседы пользователей могут быть проверены и отмечены как не относящиеся к теме и, следовательно, неактуальные.

Эти пользовательские высказывания, помеченные как нерелевантные, сохраняются как контрпримеры и включаются как часть обучающих данных.

Таким образом, ассистент тренируется явно не отвечать на высказывания этого типа.

Во время тестирования диалогового окна вы можете пометить намерение как нерелевантное прямо на панели Попробовать.

Во время этого процесса следует проявлять осторожность ...

Позже невозможно получить доступ или изменить входные данные из пользовательского интерфейса.

Единственный способ отменить идентификацию входа как нерелевантного - использовать тот же вход в тестовом канале интеграции, а затем явно назначить его намерению.

Если для параметра Обнаружение несоответствия установлено значение включено, в дополнение к стандартному методу запускается альтернативный метод оценки релевантности вновь отправленного высказывания.

Чтобы включить эту функцию для IBM Watson Assistant:

На странице навыков откройте свой навык.
В меню навыков нажмите Параметры.
На странице "Обнаружение нерелевантности" выберите Улучшено.

Этот дополнительный метод исследует структуру нового высказывания и сравнивает ее со структурой примеров высказываний пользователя в ваших обучающих данных.

Этот альтернативный подход помогает чат-ботам, у которых мало или совсем нет контрпримеров, распознавать неуместные высказывания.

Глядя на изображение выше, навык не предназначен для статуса учетной записи . Следовательно, при выключенном обнаружении нерелевантности по умолчанию используется намерение # Балансы. Когда эта функция включена, высказывание правильно переходит в статус Нерелевантно.

Чтобы создать чат-бота, который обеспечивает более индивидуальную работу, вы хотите, чтобы он использовал информацию из данных, полученных из домена приложения.

И добавляя свои собственные контрпримеры. Если только несколько.

Как это работает?

Понимание того, что говорят ваши пользователи, основано на двух принципах:

Намерения, на которые вам нужен чат-бот. Примеры этого для курьерской компании: отслеживание заказов, сбор посылок и т. Д. Обучение происходит путем определения намерений и добавления примеров высказываний пользователей. Эти пользовательские высказывания сгруппированы в соответствии с намерениями, основанными на том, что пользователи могут сказать.
Определение встречных примеров, которые следует рассматривать как нерелевантные или которые необходимо игнорировать.

Можно потратить время на понимание предметной области и конкретных намерений целевой аудитории. И впоследствии соответственно создайте или создайте данные для обучения.

Примеры счетчиков должны быть частью этих обучающих данных.

Целью расширенного обнаружения нерелевантности является уменьшение любой уязвимости в контрпримерах.

Согласно IBM:

Если этот параметр включен, в дополнение к стандартному методу запускается альтернативный метод оценки релевантности вновь представленного высказывания.

Лучшим подходом является добавление примеров предметной области, а также встречных примеров итеративным способом с постоянным мониторингом.

Вывод

Это предмет, который не пользуется заслуженным вниманием, и на него часто не обращают внимания, поскольку тестирование в большинстве случаев строго моделируется на основе намерений в домене.

Четкое общение с пользователем там, где находятся границы домена, может спасти пользователя от разочарования, а чат-бота - от злоупотреблений. 🙂