A / B-тест достиг необходимой статистической значимости для увеличения продаж за счет отправки билетов на выпускной бал. А как насчет оптимизации его потенциала путем нацеливания на правильную аудиторию?

1. A / B-тесты

Ваш друг получит рекламный билет Starbucks. Вы этого не сделаете. Вы расстраиваетесь, даже если не планировали его использовать. Хотите знать, что могло случиться?

Скорее всего, это результат сегментации клиентов, проводимой компанией и нацеленной на одну конкретную группу, частью которой является ваш друг, а вы - нет. С этой целью также можно проводить A / B-тесты.

A / B-тесты распространены при попытке измерить влияние нового веб-сайта, новых функций или даже новых рекламных кампаний до того, как они действительно будут выпущены для более широкой аудитории. Таким образом можно предотвратить трату денег на некоторые стратегии, которые не сработают так, как ожидалось, или, что еще хуже, могут испортить имидж компании.

Короче говоря, эти тесты предназначены для выполнения на 2 (или более) группах. Рассматривая случай двух групп (A и B), одна называется контрольной группой, а другая - экспериментальной группой. В идеале, единственное различие между этими двумя группами - это изменение, которое мы хотим протестировать.

В примере с веб-сайтом мы могли бы изменить дизайн кнопки, чтобы увидеть, увеличивает ли она продажи. Контрольная группа будет назначена старому дизайну, а экспериментальная группа - новому. .

Еще одним преимуществом A / B-теста является сбор данных, которые могут способствовать лучшему пониманию конкретных характеристик, связанных с клиентами, которые будут более оперативно реагировать на новое событие.

Это особенно важно, когда это событие - отправка рекламного билета - связано с расходами, которые необходимо преодолеть за счет его последствий - увеличения продаж. В этом случае отправка рекламных билетов нужной аудитории оптимизирует ожидаемые выгоды, а отправка их всем клиентам может привести к потере денег.

В этом контексте A / B-тест может дать ответ на вопрос, достигло ли рекламное мероприятие желаемой статистической значимости, необходимой для его эффективного применения на практике. Как только уровень значимости достигнут, самое время оптимизировать для целевой аудитории.

2. Оптимизация продвижения Starbucks

В этом примере мы используем набор данных Starbucks, который использовался в техническом тесте, который проводился соискателями вакансий в компании. Набор данных уже разделен на обучающий и тестовый наборы и содержит несколько функций, указывающих, был ли клиент назначен в контрольную или экспериментальную группу, приобрел ли клиент элемент или нет, и еще 7 функций (от V1 до V7), представляющих характеристики клиентов.

Нам не говорят, что на самом деле представляют эти характеристики, и наша задача - понять их поведение, чтобы эффективно определить, какие клиенты с большей вероятностью отреагируют на продвижение.

Учитывая, что цена продукта составляет 10 долларов США, а рассылка каждой рекламной акции обходится компании в 0,15 доллара США, Starbucks выбрала лучшую стратегию, которая позволила бы максимизировать два показателя: Дополнительная скорость отклика (IRR ) и Чистый дополнительный доход (NIR).

IRR показывает, на сколько клиентов больше купили продукт по акции, по сравнению с тем, если бы они не получили ее. NRR показывает, сколько заработано или потеряно при отправке рекламной акции.

Чтобы лучше понять, насколько это важно, если мы запустим тестовую функцию на тестовом наборе, отправив продвижение всем клиентам, вот что мы получим:

Мы видим, что IRR, равная 0,0096, в основном составляет половину предлагаемого значения IRR. Хуже того, мы получим большое отрицательное значение для показателя NIR, что означает, что эта стратегия будет представлять собой потерю денег. (Вы можете пройти пошаговый процесс по этой ссылке.)

2.1 Анализ функций

Были протестированы различные стратегии для достижения значений показателей, аналогичных ранее предложенным: IRR 0,0188 и NIR 189,45. Если мы не углубимся в понимание функций, мы будем продолжать приносить Starbucks убытки.

Волшебство происходит, когда мы сравниваем, как эти функции ведут себя в разных группах. После анализа коэффициента корреляции Пирсона между функциями V1 – V7 и покупкой как для контрольной, так и для экспериментальной групп, кое-что начали выскакивать.

Важно отметить, что нет смысла вычислять корреляцию Пирсона между категориальными данными, поскольку корреляция означает «измерение», если одна непрерывная числовая переменная увеличивается, уменьшается или остается неизменной по сравнению с поведением другой переменной. В этом случае, когда мы не знаем, что означают или представляют эти переменные, мы просто изучаем ситуацию, чтобы увидеть с разных точек зрения, сможем ли мы получить какую-то информацию.

Например, можно было увидеть, что в контрольной группе (те, кто не получил поощрение), V3 был функцией с самой высокой положительной корреляцией с покупкой продукта, что означает, что более высокие значения V3 может быть связано с более высокой склонностью к покупке продукта, независимо от какой-либо рекламной акции.

Одна интересная вещь происходит, когда мы смотрим на те же самые коэффициенты корреляции, на этот раз в экспериментальной группе. V3 выделяется не только как одно из самых высоких значений корреляции, но на этот раз в противоположном направлении. Он показал, что рекламная акция постоянно влияла на поведение клиентов при наблюдении за этой особенностью.

На следующем изображении были выбраны только корреляции, связанные с функцией покупки, как для контрольной, так и для экспериментальной группы, и мы вычислили, насколько они изменились, в процентах, от одна группа в другую:

Чтобы было понятнее, давайте рассмотрим гистограмму некоторых функций, сначала в контрольной группе, дифференцируя тех, кто не совершил покупку (красным), от тех, которые сделали ( синим):

Глядя на синее распределение V3, мы видим, что клиенты, относящиеся к более высоким значениям V3, с большей вероятностью купят продукт, независимо от получения рекламной акции . Другой интересный вывод заключается в том, что V2, похоже, имеет нормальное распределение, а это означает, что большинство клиентов связаны со значениями V2, которые находятся около среднего.

Давайте посмотрим на те же гистограммы, на этот раз в экспериментальной группе:

На синем фоне видно, как ситуация изменилась при рассмотрении функции V3. Он показывает, что клиенты, связанные с более низкими значениями V3, поощряются к покупке продукта из-за рекламной акции, в то время как клиенты, связанные с более высокими значениями V3 уменьшают их естественную покупательную способность из-за рекламной акции.

Если бы мы хотели угадать, мы могли бы сказать, что V3 каким-то образом представляет доходы, связанные с участниками. Если бы наше предположение было верным, мы могли бы сказать, что клиенты с более высокой зарплатой, как правило, покупают продукт в обычные дни. С продвижением происходит обратное: они не только могут не использовать акцию, но и некоторые из них перестают покупать товар.

Можно также сказать, что клиенты с низким доходом заинтересованы в покупке продукта из-за рекламной акции, что составляет наибольшую долю покупателей в экспериментальной группе.

Другое возможное предположение, учитывая распределение функций, заключается в том, что V2 может отражать возраст участников. И мы видим, что некоторые возрастные группы более восприимчивы к продвижению.

2.2 Формирование стратегии

После этого краткого анализа и предположений наша стратегия была построена на сегментировании этих двух непрерывных числовых переменных (V2 и V3) на несколько разных классов или групп.

V3 был распределен на 6 групп:

  • Группа 1: значения ниже -1,0;
  • Группа 2: значения от -1,0 до -0,5;
  • Группа 3: значения от -0,5 до 0,0;
  • Группа 4: значения от 0,0 до 0,5;
  • Группа 5: значения от 0,5 до 1,0;
  • Группа 6: значения выше 1,0.

V2 также был разделен на разные группы:

  • Группа 1: значения ниже 15 или выше 45;
  • Группа 2: значения от 15 до 25 или от 35 до 45;
  • Группа 3: значения от 25 до 35.

Сначала мы присвоили каждому из классов порядковые номера. В качестве второго подхода мы присвоили значения, которые представляют веса в соответствии с проведенным анализом. Например, учитывая функцию V3, группам были присвоены следующие значения:

  • Группа 1: 5 (подход 1) | 3 (подход 2);
  • Группа 2: 4 (подход 1) | 2 (подход 2);
  • Группа 3: 3 (подход 1) | 1 (подход 2);
  • Группа 4: 2 (подход 1) | -1 (подход 2);
  • Группа 5: 1 (подход 1) | -2 (подход 2);
  • Группа 6: 0 (подход 1) | -3 (подход 2).

Та же самая логика была установлена ​​для функции V2, сначала присваивая порядковые номера различным группам, а затем взвешенные значения во втором подходе.

Взвешенные значения были определены с учетом распределения характеристик, давая более высокие «баллы» значениям, близким к среднему (пропорционально более чувствительным к продвижению), и более низкие «баллы» при отклонении от среднего.

2.3 Обучение XGBClassifier

При использовании подхода последовательных чисел одна модель XGBClassifier была обучена с использованием GridSearchCV для настройки параметров. Все функции V1-V7 использовались как независимые переменные, а преобразования применялись к V2 и V3.

В результате получилась оптимизация, очень близкая к предложенной:

Применяя подход взвешенных последовательных чисел при использовании того же XGBClassifier в сочетании с алгоритмом GridSearchCV, мы получили еще лучшие результаты:

Нашу IRR можно считать равным предложенному, в то время как показатель NIR был увеличен более чем на 10%.

В обоих случаях для обучения модели использовалась только экспериментальная группа. Перед обучением модели мы использовали технику SMOTE, чтобы устранить дисбаланс между группой, которая приобрела продукт, и группой, которая этого не сделала.

3. Заключение

A / B-тест может определить, следует ли выпускать одно новое событие, анализ данных может повысить его преимущества.

Анализ данных - это незаменимый и мощный инструмент для любого специалиста по данным. Понимание бизнес-проблемы, анализ поведения функций и их взаимосвязи - основа для достижения отличных результатов.

Единственный способ эффективно оптимизировать показатели - это понять поведение функций и то, что они потенциально могут представлять.

Более того, если мы примем во внимание, что это упражнение было предложено Starbucks при выборе будущих членов своей команды, мы сможем представить, насколько ценны эти аналитические навыки для компании.

В этом конкретном примере мы смогли:

  • вывести значение функции;
  • работать над некоторыми функциями над нашим пониманием функций;
  • оптимизировать стратегию продвижения, ориентируясь на нужную группу.

Если ты попал сюда, ты победитель! Спасибо, что присоединились ко мне в этом аналитическом путешествии.

Теперь, когда вы думаете о важности анализа данных, как насчет обновления некоторых статистических концепций, которые могут помочь вам в следующем анализе?

Блокнот со всеми анализами и попытками можно увидеть здесь. Полный проект, включая наборы данных, можно найти в моем Github.