Какое следующее лучшее действие в маркетинге?
Следующее лучшее действие – это стратегия, которая помогает компаниям определить наиболее эффективные маркетинговые действия, которые следует предпринять в любой момент времени, что приблизит их клиентов к желаемому событию-конверсии (например, покупке продукта, формированию -заполнить, записаться на тест-драйв). Он предназначен для оптимизации маркетинговых усилий и повышения рентабельности инвестиций (ROI) маркетинговых кампаний.
Самые популярные варианты использования моделей NBA:
- Оптимизация маркетинговых кампаний. Нацеливайте пользователей более стратегически и динамично, чтобы оптимизировать достижение желаемой цели конверсии и улучшить ключевые показатели эффективности, такие как CPA, CPC, ROI, ROAS, ROMS и т. д.
- Сократите трату маркетинговых ресурсов — выявляйте неэффективные маркетинговые усилия с течением времени и постепенно удаляйте их из планирования кампаний, чтобы ваши маркетинговые команды могли более эффективно расходовать свое время и бюджеты.
- Улучшите персонализацию, взаимодействие с клиентами и качество обслуживания клиентов — доставьте правильное сообщение нужному пользователю в нужное время на нужной платформе, чтобы создать более последовательный путь клиента, который находит отклик у каждого отдельного пользователя на основе их личное поведение и предпочтения.
- A/B-тестирование: используйте модели NBA для моделирования различных сценариев A/B-тестирования и сравнения эффективности различных стратегий перед запуском маркетинговых кампаний. Пусть модель учится, прежде чем вкладывать весь свой бюджет в реальный мир.
- Сохранять конкурентоспособность. NBA может помочь компаниям быстро выявлять и реагировать на изменения в поведении потребителей, рыночных тенденциях и других факторах, которые могут повлиять на их маркетинговую деятельность. Таким образом, постоянно адаптируясь к динамично меняющейся маркетинговой среде и предпочтениям пользователей в режиме реального времени, предприятия могут опережать своих конкурентов и сохранять сильное присутствие на рынке.
В целом, NBA — это ценный инструмент для компаний, стремящихся оптимизировать свои маркетинговые усилия и повысить эффективность.
Какие наиболее популярные модели машинного обучения используются для Next Best Action?
Обучение с подкреплением (RL) — это тип машинного обучения, при котором агент учится выполнять действия в среде, чтобы максимизировать вознаграждение. Агент получает обратную связь от окружающей среды в виде вознаграждений или наказаний, основанных на его действиях, и использует эту обратную связь для обновления своего процесса принятия решений.
Модели RL — это один из алгоритмов машинного обучения, который лучше всего подходит для поиска оптимальных выигрышных стратегий в пошаговых играх, таких как шахматы, настольные игры и го. На самом деле, AlphaGo, алгоритм на основе RL, является первой компьютерной программой, победившей профессионального игрока в го, первой победившей чемпиона мира по го и, возможно, самым сильным игроком в го в истории. Подробнее об этом можно прочитать здесь, если интересно:
Путем проб и ошибок агент учится выбирать действия, которые со временем приводят к наилучшему результату. Этот процесс обучения можно использовать для решения самых разных задач, таких как система рекомендаций, управление роботами или оптимизация маркетинговых кампаний.
В двух словах, все сводится к решению уравнения Беллмана (см. ниже) — есть много методов, которые вы можете использовать для этого, и искусство RL заключается в поиске лучшего / наиболее эффективного метода с учетом формата данных и уравнения.
Чтобы выполнить изучение функций ценности и выбрать политику, которая максимизирует ожидаемую прибыль, модель RL использует марковский процесс принятия решений (MDP), формулируя задачу оптимизации стоимости с использованием пяти параметров ниже:
A = агент
E = Окружающая среда
S = штаты
AC = действие
R = Вознаграждение
То, как взаимодействуют A и E, полностью описывается их состояниями, действиями и вознаграждениями. На каждом промежуточном шаге агент получает возможность считывать сигналы из среды, изучать и оценивать наилучший выбор для следующего шага, который максимизирует ожидаемое значение на каждом шаге.
Мы также можем использовать нейронную сеть, которую мы называем сетью Deep Q, для оценки этой функции Q.
Эта функция сопоставляет состояние со значениями Q всех действий, которые можно выполнить из этого состояния. Он изучает параметры сети (веса), чтобы выводить оптимальные значения Q.
Основной принцип глубокой сети Q очень похож на алгоритм обучения Q. Он начинается с произвольных оценок Q-значения и исследует среду, используя ε-жадную политику.
Какое отношение RL Framework имеет к маркетинговым задачам?
Для обработки маркетинговых данных в марковском процессе принятия решений(MDP) нам необходимо учитывать несколько факторов, таких как среда, агенты, состояния, вознаграждения, терминалы и действия. Чтобы описать настройку алгоритма NBA RL «человеческим языком», давайте возьмем пример цифровой маркетинговой кампании в сфере электронной коммерции, целью которой является максимизация рентабельности маркетинговых инвестиций путем показа конечным пользователям маркетинговой рекламы, которая максимизирует их шансы на конверсию (покупку в Интернете).
- Среда – цифровые рекламные платформы, на которых можно выполнять набор маркетинговых действий (веб-сайты, платформы электронной почты, платформы социальных сетей и т. д.).
- Агент — клиент, взаимодействующий с брендом через различные цифровые каналы, где они получают персонализированные маркетинговые сообщения.
- Состояния — можно определить как этап пути клиента, на котором находится данный пользователь — осведомленность, исследование, интерес, намерение и т. д. или какую страницу продукта он посетил в последний раз.
- Конечное состояние — это конечное состояние пути клиента — обычно конверсия или неудачная конверсия/отток, в зависимости от того, учитываются ли отрицательные вознаграждения для данного варианта использования.
- Действия – это маркетинговые действия, которые мы можем отправить пользователю, чтобы максимально увеличить его шансы на конверсию, например найти лучший канал для отправки личного предложения (электронная почта). , социальные сети, поиск и т. д.), или лучшее креативное объявление для них, или лучшее сообщение для них по электронной почте.
- Вознаграждения – это отзывы, которые мы получаем от среды о результате каждого предпринятого действия и ответе/изменении состояния пользователя. В нашем примере с электронной коммерцией это будет значение события-конверсии.
Пример пути клиента для NBA
Как измерить эффективность модели НБА в реальном мире?
Самый популярный подход — создать структуру для A/B-тестирования, чтобы вы могли сравнить маркетинговые ключевые показатели эффективности, полученные в результате рекомендуемых действий модели NBA, с маркетинговыми кампаниями, которые изначально были развернуты до оптимизации модели NBA. Этот процесс можно упростить, выполнив несколько ключевых шагов, указанных ниже:
- Обучайте модель RL на исторических данных о поведении пользователей (учась на текущих маркетинговых политиках)
- Получить список рекомендуемых NBA маркетинговых действий для каждого пользователя
- Определите контрольную и тестовую группу пользователей
- Продолжайте выполнять базовые маркетинговые политики в контрольной группе
- Выполните рекомендуемые действия модели NBA для тестовой группы
- Создайте панель мониторинга, которая отслеживает эффективность каждой политики с течением времени
- Скорректируйте маркетинговую стратегию, чтобы оптимизировать рентабельность маркетинговой кампании
Ниже приведен пример панели управления, которую мы создали в моей компании, Treasure Data, чтобы наши клиенты могли отслеживать повышение KPI (добавленную стоимость), которое генерирует для них наша модель NBA RL по сравнению с базовым маркетингом. стратегии, которые они использовали до обучения и оптимизации модели НБА. Приведенные ниже показатели являются результатом внутреннего смоделированного A/B-тестирования Treasure Data, которое мы провели для нашей модели NBA с использованием исторических данных о веб-активности за 90 дней для обучения, 30 дней данных форвардного тестирования и фиксированного бюджета в размере 20 000 долларов США.
Фактические и рекомендуемые расходы бюджета:
Фактическое и рекомендуемое распределение маркетинговых действий:
Заключение
Обучение с подкреплением — это мощный инструмент для определения Следующего лучшего действия в маркетинге. Используя данные в режиме реального времени для постоянной оценки и оптимизации кампаний, компании могут быть уверены, что принимают наиболее эффективные решения. Обучение с подкреплением также позволяет тестировать различные стратегии и дает возможность быстро реагировать на изменения в поведении потребителей. Поскольку область машинного обучения продолжает развиваться, предприятия, внедряющие методы обучения с подкреплением, будут иметь значительное конкурентное преимущество. Имея возможность принимать решения на основе данных и постоянно улучшать свои маркетинговые стратегии, эти компании смогут оставаться на шаг впереди и обеспечивать долгосрочный рост.
