В Monzo мы используем данные, чтобы помочь нашим клиентам быстрее находить ответы на свои вопросы.
Наша служба поддержки клиентов всегда к вашим услугам, если вам нужно поговорить с человеком, но это не единственный способ найти ответы: на экране справки теперь есть более 400 страниц, на которых даны ответы на самые распространенные вопросы, от активации карты до поездки за границу.
Поскольку мы работаем над тем, чтобы и дальше оказывать вам поддержку мирового уровня по мере нашего масштабирования, мы использовали данные, чтобы вносить изменения в экран справки, чтобы вы могли быстрее находить собственные ответы.
Измерение того, насколько мы полезны
Если вы прокрутите страницу справки до конца, вы увидите кнопку с надписью «Я не могу найти то, что ищу». Если на странице, которую вы читаете, не было правильного ответа , нажав на нее, вы свяжетесь с кем-нибудь из нашей службы поддержки.
Когда вы это делаете, это также дает нам мощный сигнал о том, что страница, которую вы читали, недостаточно хороша, чтобы ответить на ваш вопрос. Если вы не нажимаете кнопку, это еще один полезный сигнал, что, возможно, вы нашли всю необходимую информацию.
Мы используем эти сигналы для определения приоритетов страниц справки, которые нам нужно улучшить: если многим людям нужно начать чат после прочтения определенной статьи, мы знаем, что нам нужно сделать ее более понятной или добавить дополнительную информацию. Мы создали информационную панель, которая отслеживает эффективность каждой страницы с точки зрения «конверсии в чат», что позволяет нам быстро определять страницы, которые нам необходимо улучшить, и измерять любые изменения после обновления страницы.
Мы также измеряем, как люди ведут себя при использовании экрана справки. Мы называем набор взаимодействий с помощью экрана справки «сеансом», и каждое из них может включать в себя одно или несколько из следующих действий: поиск, просмотр рекомендованной страницы справки, навигация по категориям и начало разговора через чат в приложении.
Отслеживая эти данные, мы обнаружили:
- Клиенты, которые использовали нашу функцию поиска, гораздо реже обращались в службу поддержки.
- Если люди открывают статью, но не находят то, что им нужно, они вряд ли вернутся и начнут искать снова. Большинство людей сразу же решили поговорить с кем-нибудь из нашей службы поддержки.
Эти выводы подсказали нам, что поиск и навигация по справочным страницам не так просты, как должны быть. Итак, мы использовали их, чтобы улучшить экран справки!
Упрощенная навигация по связанным статьям
Многие из наших справочных страниц посвящены очень похожим темам, но каждая из них актуальна для разных ситуаций. Например, у нас есть отдельные статьи для «Я забыл свой PIN-код», «Мой PIN-код заблокирован», «Я не знаю свой PIN-код» и «Я хочу изменить свой PIN-код». Но если вы введете запрос «PIN», мы покажем вам большинство из этих результатов.
Раньше, если вы нажимали на один из этих результатов поиска, но не находили ответ, который искали, вам нужно было вернуться в результаты поиска, чтобы просмотреть другие ответы, или вернуться к экрану справки и начать все сначала.
Поскольку этот процесс был непростым, люди с большей вероятностью нажимали «Я не могу найти то, что ищу» и вместо этого связывались со службой поддержки.
Что мы создали
Поэтому, чтобы упростить поиск правильного ответа после попадания в неправильный результат поиска, мы добавили «Статьи по теме». Теперь мы перечисляем другие страницы, которые семантически связаны с той, которую вы сейчас читаете.
Чтобы определить, должны ли быть связаны две страницы, мы создали систему, которая упрощает нам выполнение A / B-тестов. Это означает, что мы можем показывать разные статьи, связанные с клиентами, которые были рассчитаны по-разному, и определять, какой метод наиболее эффективен.
Пока что мы попробовали несколько относительно простых методов:
- Распределение статей по категориям вручную. Мы попытались связать статьи, используя категории, которые мы установили вручную при написании контента для экрана справки. Две статьи связаны между собой, если они также находятся в тех же категориях, по которым вы можете перемещаться на экране справки.
- Использование машинного обучения. Мы также пробовали связывать статьи с использованием модели машинного обучения с открытым исходным кодом, которая была обучена на миллионах слов из набора данных Новостей Google.
Это работает?
В ходе короткой серии экспериментов мы узнали, что показ статей, связанных с клиентами, значительно снизил конверсию в чат по всем направлениям: люди могли найти нужный им ответ, даже если сначала они попали не на тот, без необходимости общаться с кем-то. в службу поддержки.
Интересно, что использование машинного обучения не показало значительных улучшений по сравнению с группировкой статей по категориям вручную. Это может быть по нескольким причинам. Во-первых, мы потратили много времени, чтобы убедиться, что страницы правильно сгруппированы. Во-вторых, мы использовали модель машинного обучения с открытым исходным кодом для вычисления связанных статей, а не использовали наши собственные данные. Мы думаем, что обучение их на наших собственных данных может дать лучшие результаты.
Интеграция поиска на экране справки
Наш анализ сеансов справки также показал, что клиенты, использующие поиск, примерно на 20% чаще находят нужный им ответ, не обращаясь в службу поддержки.
Поскольку поиск кажется наиболее эффективным способом для людей находить нужные ответы, мы решили выяснить, как мы можем помочь клиентам получить выгоду от наших результатов поиска, не заставляя их искать.
Что мы создали
Мы провели несколько экспериментов и внесли изменения в экран справки, например поместили панель поиска в центр, чтобы сделать поиск более заметным.
Мы также провели эксперимент, который показал вам результаты поиска, когда вы набрали сообщение в нашу службу поддержки. Например, если вы начали сообщать нам, что забыли свой PIN-код, мы предлагаем серию соответствующих статей. Под капотом в этих предложениях используется тот же сервис машинного обучения, который обеспечивает поиск на экране справки. И мы не добавили никаких дополнительных затруднений в процесс установления связи, так что вы все равно сможете начать новый разговор.
Это работает?
Мы обнаружили, что предложение релевантных статей во время набора текста помогло вам найти нужный ответ так же эффективно, как и поиск самостоятельно, поэтому мы добавили эту функцию в приложения!
Что дальше?
Понимание того, о чем вы с нами говорите
Недавно мы начали еще один раунд анализа, чтобы выяснить, о чем клиенты говорят нам, когда справочный экран не помогает. Мы будем использовать этот анализ, чтобы помочь нам определить области, которые на экране справки вообще не охватываются, и понять, как мы можем еще больше улучшить определенные страницы справки.
Более тонкое машинное обучение
Мы начали создавать прототипы различных способов использования собранных данных для настройки существующих функций машинного обучения на экране справки.
Сейчас большая часть нашего машинного обучения ориентирована на содержание каждой страницы и не учитывает неявные отзывы, которые мы получаем, когда вы просматриваете статьи и нажимаете на них. Действия, которые вы предпринимаете, когда используете наши результаты поиска, являются мощными индикаторами их качества.
Например, представьте, что каждый раз, когда покупатель пытается узнать, что делать, если он забыл свой PIN-код, он всегда игнорирует первые два результата и выбирает третий ответ в списке. Это подскажет нам, что мы должны продвинуть третий результат в верхнюю часть списка, чтобы каждый мог сразу его найти.
Просмотр другого контента
Прямо сейчас наш алгоритм поиска по справке отображает справочные статьи с текстом. Но в будущем мы хотим, чтобы он мог показывать вам и другие типы результатов. Например, если на ваш вопрос ответил кто-то из сообщества, мы хотели бы связать вас с его сообщением.
Создание более эффективных предложений
Мы также планируем поэкспериментировать с машинным обучением в других областях. Например, предлагаемые статьи на экране справки в настоящее время вычисляются с использованием ряда правил, и мы догадываемся, что персонализация этих результатов с помощью машинного обучения может помочь нам предоставить более точные предложения.
Предупреждение вопросов о конкретных транзакциях
Мы заметили, что многие разговоры со службой поддержки касаются конкретных транзакций, поэтому на экране справки теперь отображаются ваши последние три транзакции.
Но мы также начали изучать, как определить, по каким транзакциям у вас могут возникнуть вопросы, и связать их с полезными ответами.
Всю неделю мы будем рассказывать, как мы работаем, чтобы Monzo был готов поддержать миллиард клиентов! Присоединяйтесь к обсуждению на форуме сообщества и следите за обновлениями в блогах и Twitter 👀
Хотите помочь нашим продуктовым группам с данными и экспериментами? Мы нанимаем аналитика данных о продуктах / специалиста по данным!
Первоначально опубликовано на monzo.com 1 августа 2018 г.
