Слава Полонски, исследователь UX
Роксана Пинто, писатель UX

Примечание редактора. Несмотря на то, что большая часть мира в настоящее время заблокирована, а количество авиаперелетов резко сокращено, вопросы, на которые направлен этот пост, актуальны сейчас, как и когда люди во всем мире снова почувствуют, что могут путешествовать безопасно. быть в компании друг друга.

Представьте себе сцену: вы живете своей обычной занятой жизнью, занимаетесь повседневной рутинной работой и понимаете, что не забронировали билет на рейс, который вам предстоит совершить. Да ладно, вы можете подумать, приближаются праздники, мне все еще нужно бронировать билеты. Бьюсь об заклад, полеты уже стоили целое состояние. Мы можем общаться. На самом деле, миллионы людей во всем мире могут понять - цены на авиабилеты сложно предугадать, в том числе для многих пользователей Google Авиабилеты. Цены на авиабилеты могут меняться, непоследовательны на разных сайтах и ​​трудны для понимания. Как говорится в этом видео от CNN, Это ракетостроение.

Выявить закономерности в ценах на авиабилеты сложно. Они очень меняются. Согласно некоторым популярным блогам, даже в одном самолете сиденье, которое продается за 100 долларов одному пользователю, легко может быть продано за 500 долларов другому пользователю.

Мы в Google Flights думали, что если мы сможем передать некоторые данные и знания в руки наших пользователей, это поможет им прояснить, сколько им нужно будет заплатить в определенное время за определенный рейс. Мы надеялись, что сможем сэкономить нашим пользователям время, стресс и, возможно, немного денег!

Нашей первой остановкой была глава Объяснение + доверие в Руководстве PAIR People + AI, которая дает полезную основу для размышлений о такого рода проблемах. Вот что мы пришли к выводу, когда применили его к нашим уникальным задачам.

Потребность пользователя

В одном исследовании за другим, команда Google Flight постоянно слышала одно и то же сообщение: покупка билета на самолет - это не что иное, как покупка капучино. При поиске рейсов по новым направлениям трудно оценить справедливость цены, не говоря уже о том, что цены могут непредсказуемо расти или падать, иногда удваиваясь или утраиваясь за считанные часы. А потом вам нужно выяснить, сколько стоит проверка ваших сумок.

Неудивительно, что покупка авиабилетов может быть чрезвычайно стрессовой и эмоционально утомительной. Мы обнаружили, что пользователи Google Flights могут попадать в одну из следующих категорий:

Игрок. Эти путешественники пытаются обойти систему ценообразования на авиабилеты, чтобы получить выгодную сделку. Они находят полезными любую информацию о ценах в интерфейсе «Авиабилеты», но также могут делать ставки против прогнозов.

Беспокойство. Этих путешественников гораздо больше заботит получение справедливой цены, особенно когда они едут в новое место, в котором они никогда раньше не бывали. Они находят подсказки по ценам обнадеживающими, но, как правило, озабочены покупкой.

Мечтатель. Этим путешественникам нравится просматривать рейсы в новые и незнакомые направления, но для того, чтобы совершить прыжок и забронировать поездку, нужно приложить немало усилий. Эти пользователи могли бы бронировать, если бы они могли распознать многое, когда они это увидят.

Конечно, есть еще много типов пользователей. Но мы обнаружили, что почти все пользователи сравнивают цены на нескольких сайтах, пытаясь понять, что влияет на цены на авиабилеты. Мы также обнаружили, что пользователи часто будут ждать как можно дольше перед бронированием, ожидая, пока у них разовьется «интуиция» относительно того, что является хорошей ценой для данного рейса. Этот процесс может занять от пары дней до нескольких месяцев.

Как мы подошли к этому с помощью ИИ

Многие продукты AI ставят информацию выше потребностей пользователей. Такой подход обычно приводит к продуктам, которые могут дать пользователям конкретное представление о сложной работе моделей машинного обучения, показывая доверительные интервалы и источники обучающих данных, но часто сопряжены с риском перегрузки пользователя слишком большим объемом информации. Но нужна ли пользователю вся эта дополнительная информация или он просто пытается выяснить, сейчас - подходящее время для бронирования?

Команда инженеров построила модель цен на авиабилеты, чтобы помочь пользователям понять, являются ли цены, на которые они смотрят, высокими, низкими или средними. Наша команда также хотела сбалансировать детали и действия, связав детали нашего прогноза AI с конкретным действием, которое пользователи могли бы предпринять в качестве следующего шага: если они пойдут дальше и забронируют или попытаются изменить некоторые параметры своего поиска, чтобы найти более дешевые авиабилеты ?

Технологическая проблема

Проблема с прогнозами, которая является общей для продуктов, основанных на искусственном интеллекте, заключается в том, что прогнозы машинного обучения не могут быть всегда на 100% верными. В конце концов, обучение на машинах или на людях не может происходить без ошибок. Во-первых, прогнозы относятся к определенным рейсам в определенные места в определенное время. Во-вторых, по некоторым местам у нас недостаточно данных о ценах, чтобы точно предсказать, является ли цена справедливой или нет.

Поэтому мы знали, что важно помогать пользователям принимать информированные и более обоснованные решения, объясняя, откуда эти данные и к чему они относятся. Нам нужно было позволить пользователям:

  • Оцените «доброту» цены сегодня и в будущем.
  • Следите за прогнозами модели и проверяйте их
  • Принимайте уверенные решения о том, когда бронировать

Также убедитесь, что они:

  • Понять, откуда берутся наши данные
  • Получите представление об общих тенденциях в области ценообразования на авиабилеты
  • Имеем разумные ожидания относительно правильности наших прогнозов.

Проблема дизайна

Итак, мы начали разрабатывать новый инструмент, чтобы помочь пользователям понять, являются ли цены на конкретный рейс в настоящее время высокими, низкими или типичными, и помочь пользователям изучить рыночные тенденции для аналогичных поездок. Команда также разработала модель прогнозирования того, как цена может измениться в будущем. Чтобы сделать эту информацию понятной как для часто летающих пассажиров, так и для путешественников, путешествующих дважды в год, нам нужно было разобраться, как люди решают бронировать билеты.

В какой-то момент мы подумали, что следует перейти к более директивному подходу, скрывая сложные вычисления, которые мы делали в фоновом режиме, и просто давая простой вывод, например: «Сегодня хороший день для бронирования». Но когда мы протестировали этот подход в нашем исследовании, пользователи заявили, что он продает, расстраивает и не заслуживает доверия.

Для нас это было непозволительно, потому что Google Авиабилеты работает только потому, что люди ей доверяют. Итак, мы знали, что это неправильный баланс информации и практических действий. Чтобы начать устанавливать некоторые направляющие для дальнейших итераций, наша команда разработала три принципа проектирования для анализа цен в программе «Полеты». Любая ценовая информация, которую мы сообщаем пользователям, должна быть:

  • Честный
  • Действенный
  • Краткий, но доступный для изучения

В этом интерфейсе мы объясняли пользователю две вещи:

  1. Была ли цена высокой, средней или низкой
  2. Насколько мы были уверены, что цены могут измениться в ближайшем будущем.

Итак, как мы могли бы объяснить результаты модели машинного обучения действенным и убедительным, но в то же время точным образом?

Наше решение

Объяснимость + Доверие

Мы использовали несколько элементов дизайна, чтобы объяснить понимание цены и укрепить доверие.

  1. Индикатор «хорошего качества» цены с соответствующими описаниями «высокая», «типичная» или «низкая».
  2. Однострочное объяснение обычной цены на поездку, подобную той, которую планирует пользователь.
  3. Текст прогноза, говорящий о том, пойдут ли цены вверх или нет.
  4. Значок информации, который открывает всплывающую подсказку с текстом, объясняющим, какие источники данных использовались для вычисления понимания.

Формулировка текста, который мы использовали, оказала значительное влияние на понимание пользователем во время наших исследований. Вот почему мы сосредоточили его на том, чтобы сделать его как можно более убедительным и действенным, но при этом позволяя пользователям исследовать данные, которые его поддерживают. Использование прогрессивного раскрытия информации с помощью значка информации было чрезвычайно полезным, но также и повторение того, какие слова мы использовали, проявим ли мы уверенность, и если да, то как.

Дисплеи достоверности модели

Непредвиденные последствия радикальной прозрачности

Сначала мы попытались показать вероятность того, что цена пойдет вверх или вниз определенным образом. Мы протестировали формулировку, подобную следующей: «Цены вряд ли упадут и с вероятностью 75% они вырастут на 17 долларов в течение следующих 5 дней». Это то, что мы можем назвать радикальной прозрачностью - это большой объем информации, которую пользователь должен обработать, прежде чем принять решение. Но мы посчитали, что лучше рассказать им все и позволить им позвонить самостоятельно.

Оказывается, люди очень оптимистично оценивают свои шансы. Даже когда вы говорите «вероятность того, что в ближайшие 2 дня будет выше 85%», некоторые пользователи интерпретировали это как «вероятность снижения 15% в конечном итоге», и им понравились эти шансы. В других случаях пользователи не выполняли математические вычисления или не могли их понять, поэтому они задавали в уме более простой вопрос. Они спросили себя: «Могу ли я позволить себе потратить 50 долларов на отсрочку бронирования на 3 дня?» Если да, то они не захотят бронировать.

Что мы узнали

Мы решили не показывать уверенность в процентах, потому что люди либо не читали их, либо не понимали их в отношении цен на авиабилеты. Мы решили, что если мы не будем сверхуверенными - 90% или выше, - мы вообще не будем показывать прогноз. Прогнозы со «средней» степенью уверенности сбивали с толку и не давали практического результата. Когда мы были уверены в своем прогнозе, мы использовали гораздо более простые формулировки: «вероятно, пойдет вверх» или «вряд ли пойдет вниз».

Чтобы убедиться, что наша ценовая аналитика передает правильное сообщение, мы решили дополнить каждую ценовую аналитику дополнительной визуализацией данных истории цен. Вы можете узнать больше о графических индикаторах достоверности в главе Объяснение + Доверие Руководства People + AI ».

Теперь для некоторых рейсов мы показываем пользователям, как изменилась цена за последние несколько месяцев, и уведомляем их, когда мы прогнозируем, что цены могут скоро вырасти или не станут ниже. Эта функция очень хорошо проявила себя в тестах юзабилити, поэтому мы представили ее широкой публике в августе 2019 года. Когда люди увидели график истории цен и выразили удовлетворение тем, что они видят, мы поняли, что находимся на правильном пути.

Вдобавок к этому мы хотели сообщить пользователям, что, основываясь на наших прогнозах, мы уверены, что они бронируют по минимально возможной цене. В конце лета 2019 года мы запустили пилотную программу гарантии цен в США, которая показывала значок на рейсах, когда мы были уверены, что цена больше не упадет, - это самая дешевая доступная сделка. После того, как пользователи заказали билеты, мы продолжали отслеживать стоимость полета, и если она упала против нашего первоначального прогноза, мы вернули им разницу. В ходе пользовательского исследования мы обнаружили, что эта функция дает пользователям больше уверенности при бронировании, что в целом делает покупки авиабилетов менее стрессовыми.

Благодаря гарантиям цены мы смогли согласовать обратную связь с улучшением модели и дать пользователям важные сигналы о достоверности наших прогнозов. Подробнее об этом можно прочитать в главе Обратная связь + управление Руководства по People + AI ».

(Де) напутственные слова

Вы знаете, насколько непредсказуемы цены на авиабилеты? Мы пытаемся исправить это, давая пользователям лучшее представление о том, что происходило с этими ценами в прошлом. Мы обнаружили, что эти три стратегии были наиболее полезны при разработке аналитики цен в программе «Авиабилеты»:

  • Четко сформулируйте источники данных. Сообщение пользователю о том, какие данные используются в прогнозе ИИ, помогло нашей команде разработчиков избежать контекстных сюрпризов и подозрений в отношении конфиденциальности, а также помогло пользователю узнать, когда следует применять собственное суждение.
  • Поэкспериментируйте с различными индикаторами достоверности: демонстрация достоверности модели в категориальных сегментах и ​​наглядных графиках помогла нам предоставить пользователям релевантную информацию о ценах на авиабилеты в доступной для понимания форме.
  • Учет непредвиденного поведения пользователей. Проведение пользовательских исследований на раннем этапе и часто помогало нам предвидеть любые непредвиденные последствия подробных объяснений, помогая группе разработчиков продукта изменить наш подход к коммуникациям и укрепить доверие пользователей.

Создавать продукты машинного обучения сложно. Но иногда самое сложное - сообщить пользователю о том, что делает ваш ML, доступным и полезным способом. Если и как вы предлагаете объяснения внутренней работы вашей системы машинного обучения, это может существенно повлиять на доверие пользователей к вашей системе и полезность машинного обучения в принятии ими решений. Это относится к покупкам на самолетах в такой же степени, как и к любой другой человеческой деятельности.