Определение того, какие продвигаемые аукционные товары должны отображаться в мерчандайзинге, является многосторонней задачей для клиентов, которая дает возможность как представить покупателям удивительный аукционный инвентарь, так и помочь продавцам повысить видимость своих аукционных списков.

Авторы: Ишаан Арора, Чэнь Сюэ, Джесси Лют и Дэн Шонфельд.

Фон

В прошлом году eBay Ads запустила новый тип кампании, Promoted Listings Express (PLX), который позволяет продавцам eBay повысить видимость своих объявлений в стиле аукциона всего за несколько кликов и единовременную фиксированную предоплату. В течение прошлого года наша исследовательская группа работала над оптимизацией того, как мы продаем эти продвигаемые аукционные товары. То, как мы рекомендуем эти предметы, представляет собой многостороннюю задачу для клиентов, которая дает возможность представить покупателям eBay удивительные аукционные запасы, а также помочь продавцам повысить видимость своих аукционных списков.

Итерации ранжирования

Рекламируемые аукционные товары в настоящее время отображаются в нескольких фиксированных слотах в рекомендациях «Похожие спонсируемые товары», которые аналогичны предметам по отношению к основному предмету на странице просмотра предметов eBay. Этот основной элемент также известен как «начальный» элемент. Пример набора рекомендаций выделен ниже:

Чтобы определить, какие листинги PLX отображаются в этих фиксированных слотах, мы используем методы ранжирования, которые присваивают баллы листингам на основе нескольких параметров релевантности и дохода. Было проведено три последовательных итерации по улучшению методологии ранжирования элементов:

Соотношение Рейтинг

Первая итерация ранжирования предметов PLX отдает приоритет достижению целевых показателей просмотров листинга продавца в течение периода аукциона. При таком подходе элементы PLX для выделенных слотов рекомендаций «Похожие спонсируемые товары» выбирались с использованием взвешенной случайной схемы. Веса для случайного выбора, представленные ниже как itemscore1, равны количеству оставшихся просмотров, чтобы удовлетворить целевому порогу, деленному на время, оставшееся до окончания аукциона.

Целевые просмотры определяются командой eBay Analytics на основе количества дополнительных ежедневных просмотров, необходимых для того, чтобы продвигаемые аукционные товары имели более высокую конверсию и большую воспринимаемую ценность для продавцов по сравнению с обычными аукционными товарами. Оставшееся время до окончания аукциона измеряется в секундах; впоследствии значения itemscore1 всех элементов PLX нормализуются, чтобы лежать в диапазоне от 0 до 1.

В целом метод ранжирования по соотношению отдает приоритет показу элемента, который срочно нуждается в просмотрах для достижения целей просмотра, и обеспечивает равномерное распределение просмотров по элементам посредством взвешенного случайного выбора.

Эвристический рейтинг

Приведенный выше подход, основанный на соотношении, поставил под сомнение актуальность рекомендаций. В последующем подходе, основанном на эвристике, мы стремились повысить ценность этих просмотров для продавцов за счет повышения вовлеченности покупателей, как показано в уравнении ниже.

f1(продавец) учитывает необходимое увеличение видимости для количества просмотров товара и равно itemscore1. f2(релевантность), представляющая собой линейно-взвешенную сумму от 0 до 1, рассчитанную с использованием функций релевантности предмета аукциона и определяемую ниже.

Здесь сходство названия и цены — это оценки сходства строки заголовка и цены предмета аукциона со строкой заголовка и ценой начального предмета. a1, a2 и a3 — это веса f2(релевантности), которые выбираются вручную.

Во время автономного анализа мы экспериментировали с несколькими значениями для w1, w2, a1, a2 и a3. . Мы установили два критерия для выбора наилучших значений веса из автономного анализа для A/B-теста.

  1. Повышение релевантности товаров, показанных покупателю
  2. Увеличение числа просмотров всего продвигаемого аукционного инвентаря

Чтобы оценить (1), мы использовали рейтинг кликов (CTR), сходство цены и сходство строки заголовка с исходным элементом. Для (2) мы оценили распределение числа просмотров и охват рекламируемого аукционного инвентаря в течение одной недели. Значения веса, удовлетворяющие обоим критериям, были выбраны для онлайн-теста A/B. Ниже приведены результаты A/B-тестирования для пользователей настольных компьютеров в сравнении с подходом к ранжированию на основе соотношения в качестве контроля, которые показывают, что пересмотренная оценка рейтинга повысила вовлеченность покупателей для продвигаемых аукционных товаров из-за повышения релевантности рекомендаций.

Несмотря на улучшенную производительность, этот подход имеет несколько явных недостатков. Во-первых, веса в компонентах f2(релевантность) задаются вручную, чтобы значение оценки было интерпретируемым, а не оптимизировалось алгоритмически. Кроме того, f2(релевантность) учитывает только несколько функций, чтобы зафиксировать все характеристики релевантности, так как вручную определить веса для всех функций было бы утомительной задачей. Наконец, itemscore2 пытается одновременно оптимизировать цели продавца и покупателя, что предполагает одинаковое распределение обоих компонентов в оценке; это предположение не всегда верно, поскольку у новых объявлений нет исторических данных CTR.

Рейтинг машинного обучения

Текущий подход использует машинное обучение, чтобы обеспечить еще лучшее соответствие между просматриваемым исходным элементом и элементами PLX, которые мы рекомендуем. Этот подход основан на эпсилон-жадном алгоритме, который генерирует случайное десятичное число от 0 до 1 для каждого онлайн-вывода. Если десятичное число d больше ε, для получения оценки элемента используется модель логистической регрессии, а если десятичное число меньше ε, оценка элемента равна itemscore1.

Мы экспериментировали с несколькими значениями ε в автономном анализе, чтобы выбрать оптимальный порог для онлайн-тестирования A/B. Чтобы найти оптимальное значение, мы оценили распределение количества просмотров, процент продвигаемых аукционных товаров, получивших ненулевое количество показов (охват) за одну неделю, и рост CTR на случайным образом собранных непредвзятых данных. = 0,05 привели к лучшим результатам по всем трем критериям оценки.

Модель логистической регрессии обучается на исторических данных о поведении пользователей, чтобы спрогнозировать наиболее вероятный элемент аукциона, который получит клик пользователя, в то время как itemscore1 отдает приоритет производительности продавца для достижения целевого количества просмотров товара. Следовательно, определяет, когда отдавать приоритет релевантности покупателя или эффективности продавца, но обе цели оптимизируются отдельно, в отличие от второго подхода, в котором оба компонента объединены в единую эвристику. Таким образом, при ε = 0,05 95 % рекомендаций будут основаны на результатах модели логистической регрессии, а 5 % рекомендаций будут зарезервированы для листингов, требующих дополнительных показов для достижения целевого количества.

Модель машинного обучения (показана выше) использует более 30 функций, которые характеризуют качество рекомендаций, предпочтения пользователей и сходство исходных элементов с элементами. Модель была обучена примерно за две недели данных журнала кликов по продвигаемым аукционным лотам. Для этой начальной итерации ранжирования машинного обучения мы выбрали линейную модель, такую ​​как логистическая регрессия, из-за простоты развертывания в производственной среде и для учета ограниченных данных, поскольку запасы для PLX продолжают увеличиваться. Этот подход, основанный на машинном обучении, прошел A/B-тестирование на настольных компьютерах с эвристическим ранжированием в качестве контроля; результаты можно увидеть ниже, которые указывают на сильный рост вовлеченности покупателей:

По мере расширения списка продвигаемых аукционных товаров у нас будет достаточно данных, чтобы опробовать нелинейные модели машинного обучения, которые лучше фиксируют взаимодействие функций. Таким образом, следующим шагом является использование повышающих деревьев, которые лучше всего зарекомендовали себя при моделировании структурированных данных.

Семих Безджи и Манас Рай также участвовали в написании этой статьи.

ТЭГИ: Реклама, Машинное обучение, Математика, Системы рекомендаций, Пользовательский опыт