Измерение усилий клиентов чат-бота с помощью устранения неоднозначности и автоматического обучения

Измерить затраченные усилия клиентов на решение проблем

Вступление

Что такое трудозатраты клиентов и как их можно измерить в разговорах с чат-ботами?
И как устранение неоднозначности может улучшить работу с клиентами?
Можно ли использовать автоматическое обучение для улучшения работы с клиентами с течением времени?

Здесь мы рассмотрим три элемента, которые в совокупности окажут огромное влияние на создаваемое вами общение:

Устранение неоднозначности
Автоматическое обучение
Усилия клиентов

Что такое устранение неоднозначности?

Внизу страницы есть ссылки на подробные статьи по устранению неоднозначности. Однако вкратце…

Когда пользователь вводит двусмысленное высказывание вместо намерения по умолчанию с наивысшим баллом; чат-бот проверяет разницу между высшими оценками намерений.

Если явного победителя нет, пользователю представляются 3 или 4 лучших намерения. Эта презентация имеет форму меню.

Разрешение пользователю устранять неоднозначность своего высказывания.

Это гораздо более элегантное решение, чем отправка пользователя по пути разговора, который не был предназначен.

Другими словами, устранение неоднозначности позволяет чат-боту запрашивать разъяснения от пользователя.

Список связанных параметров должен быть предварительно протестирован для пользователя, что позволит пользователю устранить неоднозначность диалогового окна, выбрав параметр из списка.

Представленный список должен иметь отношение, пусть даже нечетко, к контексту высказывания. Следовательно, должны быть представлены только контекстные варианты.

Что такое автообучение?

Это действительно беспроигрышная ситуация, когда обратная связь от пользователя может быть использована для улучшения вашей модели NLU посредством автоматического обучения на лету; поскольку это бесценные данные по обучению, проверенные пользователями.

Когда пользователи вводят высказывания, которые модель NLU чат-бота считает неоднозначными, отображается короткое связанное меню. Когда пользователь выбирает один из этих вариантов в модели разрешения неоднозначности, устанавливается связь.

Когда эта ссылка применяется принудительно, чат-бот может учиться на этом. В будущем, когда пользователь вводит аналогичные высказывания, меню устранения неоднозначности может быть переупорядочено, чтобы сначала представить наиболее вероятный выбранный элемент.

Предметы, которые никогда не выбираются, можно полностью удалить из меню значений.

Следовательно, чат-бот автоматически узнает от пользователя, какой может быть вероятный вариант.

На основе приведенного выше примера прототипа был создан навык кредитного чат-бота. Эти намерения очень похожи и действительно неоднозначны.

Если введено выражение выплата ссуды и постоянно выбран Оплатить, этот параметр перемещается в меню вверх.

Таким образом создается меню, составленное на основе высказывания, ранжированного в соответствии с вероятностью быть выбранным.

Устранение неоднозначности позволяет чат-ботам запрашивать помощь у пользователя, когда к запросу пользователя может применяться несколько узлов диалогового окна.

Сочетание устранения неоднозначности и автоматического обучения внутри чат-бота позволяет измерять усилия клиентов.

Что такое усилия клиентов?

Усилия клиентов - чрезвычайно удобный показатель для измерения производительности ваших чат-ботов.

Оценка усилий клиентов чат-бота сводится к простоте его использования. Вы можете рассматривать это как усилия, приложенные или затраченные пользователем для достижения своей цели.

Если усилия клиента (трение) будут слишком велики, пользователь вернется к другим средам, и в этом случае чат-бот потерпит неудачу в своей миссии.

Вот практический пример усилий клиента.

Если ваш клиент выбирает третий вариант из списка вариантов, считается, что затраченные усилия превышают усилия, затраченные на выбор первого варианта.
Аналогичным образом, если клиент выбирает Ничего из вышеперечисленного, чтобы указать, что ни один из вариантов не удовлетворяет потребности, тогда показатель трудозатрат будет еще выше.
Например, IBM Watson Assistant использует записную книжку для графического отображения значений метрики «Усилия заказчика», чтобы у вас было визуальное представление о том, как метрика изменяется с течением времени.
Вы также можете увидеть связанную информацию, такую как объем разрешения неоднозначности и какие диалоговые узлы наиболее часто включаются в качестве параметров списка устранения неоднозначности.

Усилия клиентов могут быть рассчитаны и отображены для каждого узла и с течением времени. Это поможет вам определить, какие узлы дают отрицательный NPS, а где требуются улучшения.

Выше вы можете видеть, что усилия клиента для узла или диалогового окна Взять ссуду намного ниже, чем для узла Pay. Отсюда ясно, где нужно уменьшить трение.

На приведенном выше графике показаны общие (красная линия) и средняя (синяя линия) усилия клиентов с течением времени. Заштрихованная область указывает время, в течение которого применялось автоматическое обучение. За время применения автоматического обучения усилия клиентов значительно упали.

На приведенной выше тепловой карте показано количество совпадений верхних N пар узлов в списках устранения неоднозначности. Перемещение курсора по каждому квадрату для просмотра информации о счетчике.

Вы можете увидеть, как пользователи, показывающие проценты по ссуде, переходят к узлу взятия ссуды. Проявление интереса и вопрос о платеже также имеют место одновременно. Получение ссуды и платеж также сочетаются друг с другом.

Очевидно, что оплата имеет первостепенное значение в интересах пользователей.