"Рабочие часы"
Максимальное распространение информационных продуктов
Способы обеспечения того, чтобы ваши продукты на основе машинного обучения были приняты внутренними бизнес-клиентами
Когда научные группы создают информационные продукты, они, вероятно, будут следовать внутреннему процессу. Этот процесс начинается со сбора данных, переходит к построению модели, а затем к производству модели. Жизненный цикл процесса обработки данных [1], представленный Microsoft в 2017 году, документирует этот процесс. Процесс согласован с бизнес-проблемой и принятием продукта данных заказчиком. Для справки я включил обзор жизненного цикла процесса обработки данных ниже.
Если ваша команда похожа на большинство, вы можете потратить более 90% своего времени на «центральный поток» этого жизненного цикла. Это, пожалуй, самый интересный и самый увлекательный. Что касается «бизнес-проблемы», менеджеры по продукту сосредотачиваются на переводе бизнес-проблемы в технические требования. Остается один ключевой компонент: принятие клиентов. «Клиенты» могут включать как внешних, так и внутренних бизнес-пользователей.
К сожалению, в процессе разработки вопрос о принятии клиентов часто остается в тени.
Научные группы могут подтвердить согласие клиента с помощью теста приемлемости пользователя. Хуже того, научные группы могут подтверждать принятие клиентами продуктов данных с помощью таких научных показателей, как RMSE, AUC или F1. В этой статье представлены подходы к принятию клиентов с точки зрения внутреннего бизнес-пользователя. Мы должны признать, что принятие - это не единовременный случай, а скорее то, что происходит на протяжении всей жизни информационного продукта. Я обнаружил, что есть по крайней мере три варианта поддержки клиентов или максимального внедрения продуктов машинного обучения. К ним относятся: 1) сделать это объяснимым, 2) обеспечить некоторый контроль и 3) показать ценность. Давайте рассмотрим эти компоненты с помощью набора сценариев использования.
Сделайте это объяснимым…
Хотя демонстрация финансового воздействия продукта, основанного на машинном обучении, является убедительным доказательством, иногда руководители предприятий хотят понять, что «происходит под капотом». Хотя это невозможно масштабировать, предоставление клиентских примеров того, почему ваша наука имеет смысл, может иметь большое значение для получения внутреннего признания. Когда я работал в Disney, у нас иногда возникали проблемы с получением признания корпоративными клиентами продуктов данных нашей команды. Ниже приведен пример того, что мы сделали.
Если вы когда-либо пытались забронировать проживание на курортах «Мир Уолта Диснея» или в отеле в любом другом месте, иногда вы можете обнаружить, что отель недоступен. Это неудивительно, поскольку в некоторые времена года, например, летом или во время праздников, высокий спрос может опережать предложение гостиничных номеров. Чтобы минимизировать это, мы хотели сгладить спрос в течение года. В частности, мы хотели добиться этого за счет повышения цен на номера с высоким спросом и снижения цен на номера с низким спросом. Наша команда создала информационный продукт на основе машинного обучения, который позволяет количественно оценить эластичность спроса по цене по типам номеров, курортам и времени года. Результат расчета эластичности цены - это число, которое обычно меньше нуля. Ценовая эластичность от -0,01 до -0,99 говорит о том, что клиенты менее чувствительны к росту цен или неэластичны к ценообразованию. Это означает, что вы можете чувствовать себя уверенно в повышении цены и лишь минимально снижать спрос. И наоборот, эластичность по цене меньше единицы означает, что покупатели чувствительны к цене. Созданная нами модель может показать нам разницу в эластичности или чувствительности к цене гостей между видом на озеро, видом на парковку или комнатой с видом на тематический парк на определенном курорте в определенную дату. Используя прогноз спроса и модель эластичности цен, мы смогли рассчитать оптимальные ценовые ориентиры для каждого типа номера и курорта. Обладая этими знаниями, мы могли бы порекомендовать изменение цен руководству бизнеса.
Наша команда разработала автономную модель ценообразования: внутренний инструмент, который будет предоставлять руководству Disney рекомендации по тактическим изменениям ценообразования на предстоящий год. Когда мы планировали впервые рассмотреть эти результаты, мы осознали, что некоторые из этих изменений были необычными. Это потому, что многие наши рекомендации отличаются от исторических изменений. Что касается рекомендаций, которые казались наиболее противоречащими интуиции, мы пытались логически обосновать то, что движет наукой. Вместо того, чтобы лезть в черный ящик для определения наиболее важных функций, мы выбрали подход, ориентированный на клиента. Мы просмотрели онлайн-форумы, на которых прошлые гости делились советами по поводу отпуска. Мы также ездили на курорты, лично осматривали номера и разговаривали с менеджерами курортов, чтобы узнать их мнение. На одном курорте Мир Уолта Диснея, Искусство анимации, был тип комнаты, который наша модель определила как неэластичный в течение большей части года. Этот тип номеров был люксом В поисках Немо. Помимо тематики, не было четкой разницы между этим типом комнаты и другими в Art of Animation. Поскольку мы знали, что модели машинного обучения в нашем информационном продукте могут быть подвергнуты сомнению, мы решили посетить курорт. Пройдя по территории отеля, можно было легко понять, почему модель дала такие рекомендации. Все люксы В поисках Немо располагались в районе, ближайшем к самому большому бассейну. Кроме того, он находился ближе всего к главному зданию, в котором располагались рестораны курорта, а также его розничный магазин и зал игровых автоматов. На карте ниже вы можете увидеть люксы Find Nemo, выделенные желтым цветом, главное здание - серым, а главный бассейн - синим.
Мы также смогли подтвердить наши выводы, просмотрев дневники Disney и путешествия. Мы отметили, где прошлые гости давали советы по выбору люксов в поисках Немо по причинам, которые мы определили. Наша научная модель смогла вывести это на основе данных. Хотя это не масштабируемый подход, мы смогли обеспечить проверку нашей модели на основе клиентов.
Обеспечьте некоторый контроль…
При создании продуктов данных, основным пользователем которых является внутренний заказчик, следует предусмотреть гибкость.
Это особенно важно, если информационный продукт содержит рекомендации, основанные на научных прогнозах. Информационные продукты для внутренних клиентов часто заменяют существующие процессы. В случае прогнозов унаследованный процесс обычно представляет собой прогноз временного ряда, который не является причинным. Первоначальное экономическое обоснование перехода от временного ряда к научно обоснованному подходу - повышение точности и объяснимости. Хотя прогнозы на основе машинного обучения будут включать в себя множество функций, на самом деле модель не может учитывать стратегические решения, изменение бизнеса или другие внешние факторы. Подходящим примером этого может быть изменение спроса на продукт в результате Covid. Никакая научная модель не могла предсказать пандемию или продолжающееся воздействие.
Возвращаясь к другому примеру в Disney, наша команда создала продукт для внутренних данных, чтобы рекомендовать акции Disney Parks & Resorts. Целью наших рекламных акций было увеличить спрос в периоды года, которые не соответствовали ожиданиям. Итак, наши рекламные акции были ответом на первоначальную реакцию покупателя на цены, которые мы обсуждали в предыдущем разделе. Если мы устанавливали слишком высокие цены, рекламные акции позволяли нам «корректировать курс». Разработанная нами научная модель сделала две вещи. Рекомендован уровень скидки по процентам и окно бронирования по акции. Бизнес-пользователю нужно было только предоставить окно путешествия или время года с более низким спросом, чем ожидалось. Научная модель предсказывала спрос при различных уровнях дисконтирования, а также учитывала разбавление рекламы. Разведение означает предоставление скидки гостям, даже если они, вероятно, заплатили бы полную цену.
Проблема с научными моделями, которые создают сотни тысяч прогнозов (или больше) и оптимизируют для получения результата, заключается в том, что конечный пользователь может не поверить в эти прогнозы. У этого есть последующие последствия - неверие в оптимизированный результат или рекомендацию. Чтобы преодолеть эти возражения, мы предоставили прогнозы спроса. Это позволило нашим внутренним клиентам понять, что модель «видит» и против чего оптимизируется. Мы также предоставили возможность анализа сценария, которая позволяет пользователю просматривать прогнозы с разными уровнями скидок. Даже при этом у нас все еще были проблемы с приемом клиентов. Это связано с тем, что в Disney Parks & Resorts есть и другие бизнес-направления, которые также работают над увеличением спроса. В определенный год в Walt Disney World проводится множество мероприятий и фестивалей. Примеры включают Flower & Garden, Food & Wine и Run Disney по выходным. Добавление большего количества таких мероприятий или изменение их продолжительности может существенно повлиять на спрос на курорты. Это то, чего научная модель не понимает.
Хотя это и не идеально, лучший подход - гибридный. Этот подход начинается с научной модели, а затем учитывает влияние внутренних клиентов. В частности, мы позволили заказчику добавить собственное понимание к научному прогнозу, а затем провести повторную оптимизацию на основе комбинации модели машинного обучения и данных аналитиков. Чтобы добиться успеха, наш информационный продукт включал:
· Пользовательский интерфейс, который принимал входные данные от внутреннего клиента, включая ограничения
· Первоначальный выпуск научно обоснованных рекомендаций
· Анализ сценария, включая необработанные данные и визуализации, встроенные в пользовательский интерфейс
· Функция в пользовательском интерфейсе, которая позволяла внутреннему покупателю оказывать «влияние» на спрос
· Возможность повторной оптимизации на основе влияний внутреннего спроса клиентов
· Сохранение исходных прогнозов для последующего использования для сокращения времени выполнения модели при повторной оптимизации с учетом влияний
Показать значение…
Третий вариант оказания помощи в принятии информационного продукта потребителями - это демонстрация ощутимых преимуществ. Это можно сделать с помощью AB-тестирования. К сожалению, не все информационные продукты могут быть протестированы AB. Например, продукты с внутренними данными, подобные тем, которые обсуждались ранее, обычно не могут быть проверены таким способом. Лучшими кандидатами для подхода AB-тестирования к внутреннему принятию клиентов являются продукты на основе машинного обучения, которые напрямую взаимодействуют с конечным потребителем. Примеры продуктов такого типа включают чат-ботов, персонализированный пользовательский интерфейс или рекомендации.
В Walt Disney World потенциальным гостям дают рекомендации, если курорт, который они пытаются забронировать, недоступен. Если Дисней этого не сделал, есть шанс, что потенциальный гость сможет искать альтернативы, не принадлежащие Диснею. Эти альтернативы могут включать в себя проживание на курорте, не принадлежащем Диснею, или поиск другого города для отдыха. Пример этого показан на снимке экрана ниже.
Перед внедрением научно обоснованной модели мы разработали подход, основанный на бизнес-правилах. Все началось со статического списка курортов и соответствующего списка «следующих лучших вариантов» по трем измерениям. Например, с каждым из 31 курорта «Мир Уолта Диснея» мог бы быть связанный список, составленный из стеков, основанный на схожих ценах, сходстве тематики и близости к одному из тематических парков. Как видно на скриншоте выше, курорт, выбранный из каждого измерения, может соответствовать одному из трех вариантов рекомендаций. Этот основанный на бизнес-правилах подход выступал в качестве основы или «контроля» в тесте AB.
После того, как мы создали рекомендательный продукт на основе машинного обучения, потенциальных гостей случайным образом разделили на две группы. Половина потенциальных гостей, посещавших сайт, видели рекомендации, основанные на модели машинного обучения. Другая половина увидела рекомендации, основанные на подходе бизнес-правил. Цель теста AB заключалась в том, чтобы определить разницу в тарифах на бронирование гостями. Как только мы сможем количественно оценить дополнительный рост, связанный с новым информационным продуктом, мы сможем рассчитать годовые выгоды. Финансовые выгоды, выраженные в годовом исчислении, позволяют руководству продемонстрировать ценность научной работы, облегчая принятие внутренних клиентов. К сожалению, есть два предостережения. Как упоминалось ранее, только определенные типы информационных продуктов могут быть протестированы AB. Во-вторых, нельзя предполагать, что результаты теста AB не изменятся. Даже если новые функции не запускаются, следует установить периодичность повторного тестирования, чтобы убедиться, что ценность все еще существует.
Итак, резюмируем:
· Тот факт, что команда создает модель машинного обучения, не означает, что внутренние клиенты поверят ей и примут ее.
· Менеджеры продуктовых и научных групп должны четко подумать о том, как добиться признания продуктов данных внутренними потребителями, а также подумать о том, как продукт повлияет на конечных потребителей.
· Информационные продукты могут получить внутреннее признание благодаря скоординированным усилиям, направленным на 1) объяснение результатов, 2) обеспечение некоторой гибкости и контроля модели и 3) эксперименты для демонстрации финансовой или коммерческой ценности.
Ссылки:
[1] https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/overview
