Как разработчики Watson Assistant, мы разработали передовые методы создания и обслуживания высокопроизводительных помощников для себя. В этом руководстве эти методы разбиты на простые для понимания жизненные циклы, которым вы можете следовать в своих целях.

Как инженеры, разработавшие Watson Assistant, мы знаем, что он обладает всеми возможностями, необходимыми для создания высокоэффективных ИИ-решений для вашего бизнеса. Но одних характеристик недостаточно. Вам также необходимо внедрить процесс создания, анализа и постоянного улучшения помощников.

В этом руководстве объясняются наши рекомендации по жизненному циклу ИИ и задачам, связанным с каждым этапом. Он основан на нашем опыте, полученном в ходе реальных взаимодействий с клиентами по всему миру. А теперь мы научим вас тому, что знаем сами.

Фазы жизненного цикла ИИ

Жизненный цикл ИИ состоит из шести фаз. Этапы повторяются, чтобы сформировать итеративный процесс, которому вы следуете, чтобы создавать, управлять и постепенно улучшать своего помощника.

Шесть фаз показаны на рисунке ниже.

Этап 1. Создание и обновление данных обучения

На этом этапе жизненного цикла вы создаете нового помощника или обновляете существующий. Это руководство показывает вам шаги по его созданию. После того, как вы запустите своего помощника, вам необходимо постоянно улучшать его по мере того, как ваш бизнес нуждается в изменениях. Следуя процессу в руководстве по процессу разработки, вы можете превратить вопросы, которые часто задают ваши конечные клиенты, в бизнес-прецедент, в котором помощник работает синхронно с человеком-агентом. Используя панель Попробовать, вы можете протестировать своего помощника. Отправьте высказывания, представляющие причины для обращения в службу поддержки, и посмотрите, возвращает ли ваш помощник правильное намерение.

На этом этапе вполне нормально, что некоторые высказывания сопоставляются с правильными намерениями, а другие — нет. На следующем этапе жизненного цикла представлены дополнительные инструменты, которые могут помочь вам улучшить первоначальный дизайн вашего виртуального помощника.

Этап 2. Анализ, обучение и тестирование данных

На этом этапе вы анализируете своего помощника, используя Блокнот анализа диалоговых навыков. Вы используете информацию, полученную из данных, для внесения обновлений. Вы можете использовать записную книжку для анализа характеристик ваших данных, таких как количество обучающих примеров для каждого намерения или условия, связанные с конкретным намерением. Мы обнаружили, что просмотр этого анализа может помочь вам обнаружить потенциальные ловушки в разработке вашего диалогового навыка.

Для проведения количественного анализа необходимо создать набор тестов. Тестовый набор — это просто дополнительные данные, которые содержат примеры высказываний для разных намерений. Это также известно как набор слепых тестов. Как следует из названия, эти данные не должны совпадать с примерами, предоставленными при создании навыка диалога. Это могут быть дополнительные примеры, взятые из журналов или созданные экспертами в данной области. В идеале, на каждые 10 примеров, предоставленных в качестве обучающих данных для намерения, вы предоставляете дополнительные 2 или 3 примера для проверки этого намерения.

Используйте набор тестов с записной книжкой, чтобы получить количественные показатели того, как работают модели машинного обучения диалогового навыка. Помните, что важно, чтобы примеры, представленные в тестовом наборе, соответствовали тому, что вы увидите в реальном варианте использования.

Этап 3: развертывание

Чтобы достичь этого, вы создали помощника, проанализировали его производительность и несколько раз обновляли его на основе тестирования. Теперь вы готовы начать процессы развертывания.

На этом этапе мы рекомендуем вам внимательно прочитать документацию по развертыванию. Просмотр раздела о том, как обращаться к виртуальным помощникам из сценариев использования с помощью API-интерфейсов Watson Assistant, может помочь с интеграцией диалогового навыка в окончательный бизнес-процесс. Там же можно найти документацию, относящуюся к Software Development Kits (SDK), которая в настоящее время поддерживается на различных языках программирования.

Этап 4. Измерение работающей системы

Пока ваш помощник работает в производственной среде, а пользователи взаимодействуют с ним, вы можете использовать полученные данные для поиска возможностей для дальнейшего улучшения. Руководство по непрерывному совершенствованию представляет концепцию измерения как эффективности, так и охвата вашего виртуального помощника, а также то, как вы можете использовать эти показатели для определения приоритетов своих усилий.

Measure Notebook предоставляет набор автоматических метрик, которые помогают вам отслеживать и понимать поведение вашей действующей системы, используя ваши журналы разговоров в качестве входных данных. Цель состоит в том, чтобы понять, где ваш помощник работает хорошо, а где нет, и сосредоточить свои усилия на улучшении. Например, вы можете определить высказывания пользователей, которые не охвачены, или какие намерения чаще всего приводят к заброшенным разговорам.

В качестве результатов записной книжки показателей вы также можете создать подмножество проблемных разговоров, которые будут дополнительно оценены и проанализированы вашей командой на следующем этапе.

Этап 5. Анализ эффективности и охвата

Имея под рукой измерения вашей действующей системы, вы можете сосредоточиться на понимании закономерностей, которые приводят к низкой производительности. Если вы решите улучшить измерение охвата, вам следует использовать функцию Рекомендации по намерениям в Watson Assistant, которая использует ваши журналы, чтобы создавать новые намерения или расширять существующие.

Если вы обратите внимание на измерение эффективности, вы можете выбрать анализ качества обнаружения намерений и сущностей с помощью Блокнота анализа эффективности или вместо этого сосредоточиться на качестве ваших диалоговых потоков с помощью Блокнота анализа диалогового потока.

Этот этап анализа поможет вам расставить приоритеты для следующих шагов по улучшению.

Этап 6: улучшение с помощью рекомендаций

Вы вносите дополнительные улучшения в своего виртуального помощника с помощью анализа, предоставленного Блокнотом эффективности или Блокнотом анализа потока диалогов, или аналитическими данными, предоставленными Блокнотом анализа навыков диалога. Эти улучшения могут включать в себя разрешение конфликтов намерений, добавление обучения неточным намерениям или объединение запутанных намерений в одно намерение и различение используемых сущностей. Когда вы обновите свое обучение, вы начнете Фазу 1 следующей итерации вашего жизненного цикла ИИ.

Мы надеемся, что приведенные здесь рекомендации помогут вам в вашем путешествии по разговорному ИИ с помощью Watson Assistant. Мы также приветствуем отзывы, основанные на вашем опыте проектирования, развертывания и обслуживания помощника, поддерживающего ваш бизнес-процесс.