Пояснение к статье

Может ли более простая формулировка целевой функции привести к лучшим результатам для торговых площадок в Интернете? Интернет-площадки, такие как Groupon, имеют несколько заинтересованных сторон и требуют решения задач каждой заинтересованной стороны. Исследователи Groupon обнаружили, что упрощение их целевой функции повысило коэффициент конверсии на 1,56% и операционную ценность их бизнеса на 1,43%.

В этом посте мы сначала рассмотрим, что такое многоцелевые рекомендации в системах с участием многих заинтересованных сторон, а затем углубимся в содержание документа.

Системы с участием многих заинтересованных сторон и многоцелевые рекомендации

Торговая площадка в Интернете. Торговые площадки в Интернете - это платформы, на которых продавцы и покупатели встречаются и совершают онлайн-транзакции, приносящие взаимную выгоду обоим. В зависимости от бизнеса в системе могут быть и другие заинтересованные стороны, наряду с покупателями и продавцами. Amazon, Instacart, E-bay - известные примеры торговых площадок.

Рекомендация с одной или несколькими целями. Наиболее популярные методы рекомендаций, например совместная фильтрация, сосредоточьтесь только на релевантности пользователя, оптимизируя элементы для кликов или конверсий. Рекомендация с одной целью - это узкий взгляд на проблему в системах с участием многих заинтересованных сторон, поскольку она ориентирована только на клиента, игнорируя другие заинтересованные стороны. Очевидно, что в долгосрочной перспективе это вредно для системы.

Интуитивно понятный и популярный подход к решению задач других заинтересованных сторон состоит в том, чтобы взять оценку из модели релевантности пользователя и изменить ее в соответствии с потребностями других заинтересованных сторон. В результате вы получаете новую оценку релевантности, которая решает несколько задач. Чтобы сделать его конкретным, возьмем пример, в котором вы хотите учитывать доход, рекомендуя товары пользователям на платформе электронной коммерции. Вы можете изменить оценку релевантности элемента для пользователя следующим образом:

Где u - пользователь, i - элемент, а бета - параметры настройки. Эти параметры также можно рассматривать как рычаги управления вкладом каждого компонента в расчет многоцелевой оценки.

Теперь у нас достаточно предыстории, чтобы перейти к обсуждению статьи Простые цели работают лучше.

Рекомендации в Groupon

Система поиска и рекомендаций Groupon называется «Релевантность», и она отвечает за поиск лучших предложений для клиентов при одновременном удовлетворении целей всех заинтересованных сторон. Текущий многоцелевой секретарь объединяет взвешенные факторы, каждый из которых представляет определенную заинтересованную сторону. В документе они описывают текущую целевую функцию и упрощение, которое повысило конверсионную и операционную ценность.

Рейтинг конвейера

Конвейер ранжирования Groupon показан на рисунке 1. Он состоит из двух модулей или этапов:

  1. Прогнозирование отклика: модель машинного обучения, которая прогнозирует релевантность сделки для пользователя с точки зрения вероятности клика или вероятности конверсии / покупки.
  2. Оптимизация: этот модуль принимает выходные данные модуля прогнозирования ответа и изменяет эту оценку, чтобы сделать ее многоцелевой с помощью многоцелевого счетчика. Наконец, о разнообразии и справедливости прогнозов заботится Управление разнообразием. Однако методы, предполагающие разнообразие и справедливость, в статье не описываются.

Как правило, разнообразие рекомендаций обеспечивает пользователям разные подходящие варианты, в то время как справедливость гарантирует, что рекомендации не будут однобокими в отношении только нескольких популярных продавцов, игнорируя остальные.

Визуальные алгоритмы обработки не описаны в документе, но я предполагаю, что это может быть своего рода панель инструментов, которая позволяет настраивать рычаги в рекомендациях.

Модели машинного обучения, используемые для ранжирования / прогнозов (в контексте статьи), являются машинами повышения градиента (GBM).

Текущий многоцелевой бомбардир

Текущий многоцелевой счетчик в Groupon вычисляет взвешенную сумму eCVR, оценочных резервов и оценочной стоимости.

score = a * eCVR + b * eBooking + c * eValue

куда,

eBooking = eCVR * цена ^ {priceExponent}

eValue = eCVR * marginPercentage * цена ^ {priceExponent}

Условия секретаря:

eCVR: примерный коэффициент конверсии сделки для пользователя.

Электронное бронирование: Скорректированная ожидаемая стоимость бронирования сделки в долларах США.

eValue: Скорректированная ожидаемая операционная стоимость сделки в долларах.

Вышеуказанные корректировки относятся к показателю цены, чтобы уменьшить подавляющее влияние сделок с высокой ценой. a, b и c - параметры, которые придают относительную важность каждому компоненту. В документе упоминается, что эти значения нормализованы, поэтому вполне вероятно, что 0 ‹= a, b, c‹ = 1 и a + b + c = 1. Для новых и анонимных пользователей b = c = 0, и поэтому основное внимание уделяется конверсиям.

Недостатки этой целевой функции: хотя этот подход является гибким и дает рычаги для корректировки оценок, но, по мнению авторов, ему не хватает математической строгости и требуется принимать сложные решения по выбору правильных значений для параметров a, b и c. Это сложно, потому что трудно измерить компромиссы между различными вариантами выбора параметров.

Упрощенная формулировка

Упрощенная формулировка оценивает стоимость ставки или ожидаемую прибыль для каждой сделки как взвешенную комбинацию ценности, внесенной в достижение индивидуальных целей. Веса - это вероятности достижения цели. Более конкретно, упрощенная формулировка целевой функции такова:

Где g - цель, лямбда - вероятность достижения цели g, а nu - значение цели в $.

Примеры целей: активация, конверсия, ценность и вовлеченность.

Хотя конверсия, ценность и вовлеченность - хорошо известные термины; активация интересная. Если у вас есть новый пользователь, одна из самых важных целей - помочь пользователю совершить первую транзакцию или активироваться на платформе. Однако активация также может означать повышение конверсии клиентов, которые неактивны на платформе в течение некоторого периода времени.

В упрощенной формулировке интересно то, что

  1. Стоимость предложения дает ожидаемую стоимость каждой сделки с учетом ценностного вклада различных целей, взвешенных по вероятности их достижения. Если существует компромисс между вероятностями достижения различных целей, это отразится непосредственно на стоимости предложения. Однако нужно убедиться, что одна цель не превосходит другие, и этот компромисс действительно существует. Но авторы об этом не говорят.
  2. Компоненты упрощенных целей предсказываются моделями машинного обучения. Таким образом, упрощенная цель - это совокупность моделей, объединенных нелинейно. (Нелинейный из-за условий продукта)

Прогнозирование компонентов упрощенной рецептуры

Вероятности достижения цели (лямбда)

Лямбда - это модели, предсказывающие вероятность достижения цели. На самом деле это просто. Если цель - щелкнуть или купить, то это модель бинарной классификации. В документе упоминается, что эти модели машинного обучения принадлежат GBM.

Это оставляет нам цели и ценности.

Ценность цели

Ценность цели оценивается по Операционной ценности.

Операционная стоимость = Цена продажи за единицу * Количество + Комиссия - Открытая скидка - Закрытая скидка - Стоимость доставки - Транзакционные издержки

Открытые скидки - это скидки, доступные пользователям на платформе, а закрытые скидки - это скидки, доступные только некоторым пользователям. Я думаю, что это справедливо также для предположения, что закрытые скидки - это целевые скидки, отправляемые пользователям по электронной почте или с помощью уведомлений.

Авторы отмечают, что открытая скидка и закрытая скидка являются движущимися частями в этом расчете эксплуатационной стоимости, которую необходимо оценивать на основе моделей машинного обучения. В результате они обучают модели машинного обучения предсказывать каждую сделку каждый день,

  1. % открытых дисконтных заявок от сделки
  2. % закрытых дисконтных заявок от сделки

Используя эту ожидаемую открытую скидку и ожидаемую закрытую скидку на сделку, можно легко рассчитать как,

OD на сделку = min (cost_to_user * OD%, OD $ cap) * OD заказов / Всего заказов
CD на единицу = cost_to_user * CD%

Где CD% = сумма закрытой скидки / Общая сумма

Полужирным шрифтом выделены проценты, предсказанные моделями машинного обучения. К особенностям моделей можно отнести:

  1. Лаги (прошлое поведение)
  2. Вертикальный
  3. Вертикальная подкатегория
  4. День OD или нет
  5. День недели
  6. Номер недели

Для обучения моделей GBM данные были разделены на наборы данных Train (70%), проверки (15%) и тестирования (15%).

Полученные результаты

Офлайн-результаты для OD% и CD%

Базовая модель - это оценки OD% и CD% на основе исторических данных. Сравнение базовой линии и модели машинного обучения на тестовой выборке для разных вертикалей показано в таблице 1.

В этой статье не очень ясно, объединяет ли эта таблица результаты моделей OD% и CD%? Если он включал только один из них, то более вероятно, что это для OD%, основанного на Среднем фактическом% чисел. Как бы то ни было, ясно видно, что модель машинного обучения дает сравнительно лучшие результаты.

Результаты эксперимента А / Б

Эксперимент A / B проводился с 50% населения для каждого варианта. Вариантами были «Текущий многоцелевой счетчик» и «Упрощенная формулировка». Цель для существующих клиентов была основана только на максимизации операционной ценности и на максимизации конверсии / активации для новых пользователей. Результаты,

  • Рост конверсии: 1,56%
  • OV Lift: 1,43%

Резюме и заключительные замечания

Основная идея в этой статье - упростить текущую многоцелевую функцию Scorer, которая использует сумму взвешенных факторов и включает такие параметры, как a, b, c и priceExponent, требующие оценки со стороны пользователя системы ранжирования.

score = a * eCVR + b * eBooking + c * eValue
[текущая многокритериальная функция оценки]

Упрощенная функция оценки снова представляет собой взвешенную сумму факторов. Однако веса (которые представляют собой вероятности достижения цели) и факторы (которые представляют собой значения целей) выводятся из моделей машинного обучения, что снижает человеческие суждения и усилия по настройке.

В документе также подробно говорится о будущих направлениях, которые я здесь опустил.

Существует много интересной литературы в области многосторонних рекомендаций и многоцелевой оптимизации в рекомендациях. Подход, используемый в данной статье, представляет собой ансамбль моделей. Принципиальные методы в этой области используют ограниченную оптимизацию для вычисления баллов для пар (клиент, элемент). Для дальнейшего чтения настоятельно рекомендуется статья Click Shaping to Optimize Multiple Objectives.