Представьте, что вы работаете в компании и хотели бы увеличить продажи своей продукции в определенном регионе мира. Для этой цели вы наняли отдел продаж — группу продавцов — для работы с клиентами по всему региону, например, путем личных посещений или телефонных звонков с конкретным содержанием о продукте (например, для фармацевтического препарата это могут быть преимущества его использования для своих пациентов по сравнению с продуктами конкурентов).
Но что теперь? В регионе могут быть тысячи клиентов, и будет очень дорого и нецелесообразно ориентироваться на всех клиентов, и они могут даже не реагировать положительно на то, что они нацелены. Какая трата денег!
Лучшим подходом является использование A/B-тестирования: вы просто ориентируетесь на ограниченное количество клиентов, выбранных случайным образом, например, на 100–1000, и смотрите, получите ли вы более высокий средний прирост продаж продукта для этих клиентов по сравнению с нецелевыми. Если увеличение продаж продукта очень мало, таргетинговый подход может не стоить усилий, или вам придется пересмотреть, какой контент вы доставляете клиентам. Может быть, нужно даже подготовить разный контент для разных клиентов? Хорошо, что вы потратили свои усилия только на ограниченное количество клиентов и сэкономили много денег!
… но что, если я скажу вам, что A/B-тестирование может дать гораздо больше? Используя методы машинного обучения, алгоритмы могут фактически узнать из вашего A / B-тестирования, на каких клиентов ориентироваться, а на каких клиентов не ориентироваться с подготовленным контентом. Алгоритм машинного обучения просто ищет шаблоны в вашем эксперименте по A/B-тестированию и определяет характеристики клиентов, которые хорошо реагируют на таргетинг. быть клиентами с определенным возрастом, местоположением, специализацией, обязанностями и так далее. Таким образом, алгоритм может точно сказать вам, на каких клиентов следует ориентироваться, чтобы оптимизировать продажи вашего продукта, когда вы запускаете полноценную маркетинговую кампанию, и в то же время минимизировать ваши маркетинговые расходы, не ориентируясь на тех, кто не ответил.
Этот подход, конечно, может быть применен к широкому спектру маркетинговых ситуаций, если он включает в себя привлечение, развитие и удержание клиентов. В этой статье мы рассмотрим, как сделать вашу маркетинговую стратегию более эффективной, объединив эти два отдельных, но мощных метода — A/B-тестирование и машинное обучение — для того, чтобы сделать то, что называется Uplift Modeling. Первая часть статьи будет посвящена A/B-тестированию, а вторая часть посвящена использованию методов машинного обучения.
Эффекты маркетинга
Для начала мы определяем четыре типа клиентов, когда речь идет о результатах маркетингового подхода, представленного Кейном и др. (2014):
- Конечно.Эти клиенты ответят независимо от того, нацелены ли они на маркетинг или нет. Тем не менее, есть еще затраты, связанные с их таргетингом.
- Утерянные причины. Эти клиенты не ответят независимо от того, нацелены ли они на маркетинг или нет. Это просто «безнадежное дело», и их нацеливание не приносит никакой дополнительной пользы.
- Не беспокоить. Эти клиенты негативно отреагируют на то, что они станут таргетингами. Ориентация на них связана не только с расходами, но и с негативным влиянием на продажи продукта. Это может быть результатом того, что эта конкретная группа клиентов плохо воспринимает маркетинговый контент, или просто их раздражает постоянный маркетинг от вашей компании.
- Возможности убеждения.Эти клиенты будут положительно реагировать на то, что они являются целевыми, по сравнению с тем, когда они не являются целевыми, и поэтому должны быть в центре внимания маркетинговой кампании.
Важно добавить, что даже если клиент может быть, например, «безнадежным делом» через один маркетинговый канал или определенный контент о вашем продукте, он все равно может быть «убеждаемым» через другой канал или контент. Оптимальная маркетинговая стратегия будет продавать продукты клиентам именно так, как это влияет на них больше всего!
Хитрость любой модели продвижения заключается в том, чтобы определить «убеждающие» для определенного маркетингового канала и конкретного контента о вашем продукте, поскольку это единственная группа, которая действительно положительно влияет на продажи продукта.
Также очень полезно, если вы также идентифицируете «Не беспокоить», так как вы определенно не хотите беспокоить эту группу клиентов.
Как проводить A/B-тестирование
A/B-тестирование обычно проводится, например, при разработке дизайна веб-страницы или программного обеспечения. Целью может быть сравнение двух разных дизайнов веб-страниц — A и B — на подмножестве пользователей, чтобы увидеть, какой из них генерирует наибольшее количество продаж / рейтинг кликов и в конечном итоге должен быть реализован для всех пользователей. Это быстрый и недорогой способ выбрать правильный дизайн перед его внедрением для всех клиентов.
Точно так же цель A/B-тестирования в маркетинге состоит в том, чтобы исследовать влияние маркетинговой стратегии, сначала протестировав ее на небольшом подмножестве клиентской базы (например, 100–1000 клиентов, называемых базой разработки). Таким образом, мы получаем хорошее представление о влиянии маркетинговой стратегии на всю клиентскую базу. Основная цель, очевидно, состоит в том, чтобы выяснить, будет ли маркетинговая кампания успешной, прежде чем проводить полную и часто очень дорогостоящую маркетинговую кампанию для огромного количества клиентов.
Конечно, важно, чтобы клиенты в базе разработки были репрезентативными для клиентов в базе клиентов, чтобы уверенно делать какие-либо выводы о клиентской базе по результатам A/B-тестирования в базе разработки. Полное случайное подмножество клиентской базы является лучшим выбором для базы разработки и дает наилучшую модель, но если это невозможно, мы должны попытаться максимально приблизиться к этому. В качестве альтернативы, база разработки может быть выбрана случайным образом из подмножества клиентской базы с определенными характеристиками, но в этом случае результаты могут быть перенесены только на клиентов с аналогичными характеристиками в клиентской базе. Это полезно, если вы заинтересованы только в таргетинге, например, на клиентов с определенным возрастом, работой, жизненной ситуацией, подписками и т. д.
Затем база разработки случайным образом делится на две группы — одна, где проводится маркетинговая кампания («целевая» или «А»), и другая, где она не проводится («нецелевая» или «Б»), как показано на рисунке. выше.
Цель состоит в том, чтобы дать объективную оценку разницы в уровне продаж/откликов для аналогичных клиентов, независимо от того, являются ли они целевыми для маркетинга или нет, что называется истинным повышением.
Эта цель состоит в том, чтобы определить «Убеждения» — поскольку «Надежные вещи», «Утраченные причины» и «Не беспокоить» не добавляют дополнительных продаж продукта при нацеливании, но все еще существуют затраты, связанные с нацеливанием, поскольку маркетинг определенно не бесплатно.
Основная практическая проблема при разработке экспериментального дизайна для A/B-тестирования в маркетинге состоит в том, чтобы убедить руководство изменить стратегию. Требуются значительные инвестиции, чтобы начать тестирование различных стратегий на реальных клиентах, без гарантии немедленного увеличения продаж продукта, поскольку получение преимуществ экспериментальной процедуры A/B обычно требует времени. Кроме того, вы зависите от наличия достаточного количества данных о клиентах для обогащения модели и, конечно же, данных высокого и надежного качества. В конце концов, данные — это основа любой успешной модели. Однако потенциальные выгоды для вашего отдела маркетинга могут изменить правила игры благодаря эффективной настройке A/B-тестирования!
Простой подход: успешен ли маркетинг?
Простой подход к моделированию прироста заключается в том, чтобы просто определить «истинный прирост» в результате таргетинга как разницу в приросте для целевой и нецелевой группы в тесте A/B:
ИСТИННОЕ ПОВЫШЕНИЕ = ПОВЫШЕНИЕ (ЦЕЛЕВАЯ ГРУППА) - ПОВЫШЕНИЕ (НЕЦЕЛЕВАЯ ГРУППА)
Вот и все! Легко и просто! Это дает вам прямую меру того, чего вы можете ожидать, если маркетинговые усилия будут проводиться для всей вашей клиентской базы, и в этом заключается истинная сила A/B-тестирования.
Используя A/B-тестирование, вы потенциально можете избежать траты огромной суммы денег на неудачный маркетинговый подход для всей вашей клиентской базы.
Опять же, хитрость заключается в том, чтобы выбрать целевую и нецелевую группу совершенно случайным образом для действительно объективного результата. Кроме того, в тесте A/B должно быть достаточно клиентов, чтобы результаты были статистически значимыми. Простое сравнение распределения прироста в двух отдельных группах A/B-тестов может помочь ответить на этот вопрос, как показано ниже.
Существуют установленные статистические рамки для оценки необходимого количества клиентов в A/B-тестировании для измерения разницы в X процентов между двумя группами. В общем, вам нужно больше клиентов для более высокой дисперсии вашей целевой переменной (например, в продажах для каждого клиента) и если вы ищете незначительные различия в росте продаж между двумя группами. Также важно контролировать результаты A/B-тестирования во время A/B-тестирования, чтобы убедиться, что протоколы соблюдаются и что результаты являются статистически значимыми (нет необходимости продолжать A/B-тестирование, если нет статистически значимой разницы между группы «А» и «Б»).
Этот простой подход можно расширить, определив разные группы и сравнив «истинный рост» между группами — например, клиенты старше/моложе 40 лет, клиенты в городе и в сельской местности и так далее. Чем больше групп вы определите, тем больше должна быть ваша группа A/B-тестирования, чтобы ваш эксперимент был статистически значимым!
Этот подгрупповой подход указывает на то, на какой тип клиентов маркетинговые усилия могут быть потрачены наиболее эффективно — и это на самом деле одна из самых простых форм моделирования подъема — определение подгрупп клиентов, на которых эффективнее ориентироваться. Мы вернемся к этому позже, где мы обобщим подход и сделаем его более мощным, используя машинное обучение для определения функций, определяющих хороших целевых клиентов.
Вместо того, чтобы определять подгруппы «вручную», мы также можем воспользоваться преимуществами алгоритмов кластеризации на основе машинного обучения, таких как, например. k-средние, чтобы идентифицировать кластеры клиентов со сходством. Таким образом, мы могли бы увидеть определенные кластеры с большим подъемом и кластеры с меньшим подъемом из-за таргетинга. Сегментация клиентов — очень интересный инструмент анализа для оптимизации ваших маркетинговых стратегий, вашего A/B-тестирования и понимания ваших клиентов. Это выходит за рамки этой статьи, но может быть в центре внимания следующей статьи;)
Последние комментарии
В этой части статьи объясняется, как использовать A/B-тестирование для оптимизации ваших маркетинговых стратегий и увеличения продаж, не тратя ценные маркетинговые ресурсы на неправильных клиентов. A/B-тестирование — это мощный метод для оценки того, будет ли маркетинговая кампания успешной, не вкладывая при этом полную клиентскую базу. Недостатком A/B-тестирования и моделирования подъема является то, что для сбора необходимых данных необходимо разработать относительно сложный экспериментальный план. Стоит ли оно того? Вам решать
В следующей части этой статьи (Оптимизация маркетинговых стратегий с использованием A/B-тестирования с машинным обучением (часть 2)) мы рассмотрим, как мы можем добавить машинное обучение к A/B-тестированию, чтобы узнать, какие клиенты имеют самые высокие увеличение продаж при таргетинге. Результаты можно использовать для ранжирования и определения приоритетов ваших клиентов от наиболее до наименее перспективных маркетинговых целей.