Использование науки о данных для улучшения нашей способности к обучению

Без эффективных петель обратной связи все предприятия находятся на случайной дистанции к успеху или неудаче. Каждая новая идея — это шаг в одном направлении, мы надеемся, что это путь к успеху, но есть еще много путей к провалу. Зная это, стоит задуматься о том, как мы можем улучшить наши циклы обратной связи. За последние несколько лет, которые я провел, работая в области науки о данных, я пришел к убеждению, что ее самая большая ценность заключается в ее способности создавать лучшие циклы обратной связи. Хорошая обратная связь удовлетворяет двум требованиям:

  1. Это быстро. Очень сложно чему-то научиться, когда действие и результат разделены большими промежутками времени.
  2. Это однозначно. Необходимость тратить много времени на то, чтобы понять, что на самом деле означает обратная связь, значительно увеличивает вероятность того, что она будет неверно истолкована, и снижает вероятность того, что люди вообще обратят на нее внимание.

В обоих этих случаях можно использовать инструменты науки о данных для разработки более эффективных циклов обратной связи.

Чтобы конкретизировать это, давайте рассмотрим пример. Давайте представим, что мы работаем в сфере маркетинга в компании SaaS. У нас есть продукт, который предлагает четырехнедельную демонстрацию, прежде чем клиенты должны будут либо перейти на платный план, либо уйти. Наша цель как маркетологов — привлечь к продукту как можно больше потенциальных клиентов. Как мы настраиваем наш цикл обратной связи, чтобы помочь нам достичь этой цели?

Итерация 1: простая метрика и ее прокси

Естественная отправная точка может состоять в том, чтобы просто посмотреть на цель напрямую и получить обратную связь от количества конверсий, которые мы наблюдаем в продукте. Перейдём к цифрам!

Теперь об основном вопросе обучения: работает ли то, что мы делаем? Первоначальный ответ, казалось бы, будет «да, мы недавно наблюдали действительно существенный рост конверсий», но давайте уделим еще немного времени, чтобы все обдумать. У продукта есть четырехнедельный пробный период, поэтому люди, вероятно, ждут большую часть этих четырех недель, прежде чем совершить покупку. Отзывы, которые мы получаем прямо сейчас, на самом деле касаются не того, что мы делаем прямо сейчас, а скорее того, что мы делали четыре недели назад. Это когда мы начали использовать этот новый канал или это произошло сразу после той торговой выставки? Такая существенная задержка обратной связи резко снижает ее эффективность: она не оперативна. Это приводит нас к следующей лучшей вещи, прокси.

Клиенты, которые скоро будут платить, — это то, о чем мы действительно заботимся, но нам действительно трудно чему-то научиться, если нам нужно ждать так долго, поэтому вместо этого нам нужно что-то, что связано с важным для нас показателем, но что можно наблюдать. гораздо раньше. Регистрация кажется, что это будет отвечать всем требованиям.

Теперь эта метрика говорит нам о другом. Четыре недели назад у нас все было хорошо, но на прошлой неделе мы действительно увидели довольно крутой спад; мы должны выяснить, что вызывает это. Прокси-сервер регистрации дает нам оперативность, необходимую для эффективной обратной связи.

Однако будьте осторожны, потому что эта метрика не дает нам однозначной обратной связи! Это особенно опасно, потому что нам, людям, очень легко забыть, что прокси-метрика — это всего лишь прокси, а не то, что нас волнует. Объедините это с законом Гудхарта, и появится опасность.

Закон Гудхарта: Когда мера становится целью, она перестает быть хорошей мерой.

Помните, что наша цель — увеличить эти числа. Наша метрика — подписки. Мы делаем все расчеты и выясняем, что с текущим коэффициентом конверсии и ценностью жизни клиента (LTV) мы можем ответственно улучшить наши показатели, предлагая бесплатную футболку для каждой новой регистрации. Мы запускаем нашу кампанию, и подписки зашкаливают, всем привет! Тем не менее, о чудо, через четыре недели эти конверсии не проявляются, и на самом деле общее количество конверсий на самом деле ниже, чем обычно. Оказалось, что большинство из этих людей просто подписывались на бесплатную футболку, и весь этот объем на самом деле усложнял команде продаж еще поиск хороших подписок для работы.

Хотя этот пример может показаться экстремальным, он иллюстрирует риски использования прокси-метрик, особенно когда отсутствует хорошая видимость и фокус на действительно важной метрике. Пытаясь улучшить их, мы можем сделать их значение более двусмысленным.

Итерация 2: когортная метрика

Зная теперь об опасностях прокси-метрик, мы ищем что-то лучшее, что-то, что заставляет нас сосредоточиться на том, что действительно важно, но также дает нам обратную связь достаточно быстро, чтобы мы могли на самом деле извлечь из этого уроки. Вот где когорта может быть полезной.

Когортинг — это просто практика группирования людей по какой-то характеристике, в данном контексте такой характеристикой, скорее всего, будет время регистрации. Мы группируем все наши регистрации по неделям регистрации[1]. После их группировки мы отслеживаем конверсию по неделям.

Давайте на минутку обсудим, что означает этот график. Вдоль левой стороны указана дата когорты, а вверху — возраст когорты, числовые значения между ними обозначают процент когорты, которая преобразовалась к этому моменту своего жизненного цикла. Если мы посмотрим на 1 января (когорта для всех учетных записей, которые зарегистрировались в течение недели с 1 января), мы увидим, что 0,2% конвертировались к концу первой недели, 0,5% конвертировались к концу второй недели, 1% к концу к концу третьей недели и 4% к концу четвертой недели. Почему в правом нижнем углу куча пустых ячеек? Это недели, которых еще не было, каждая группа на одну неделю моложе предыдущей.

Что эта диаграмма говорит нам о том, как мы живем прямо сейчас? Похоже, то, что мы делаем, работает! В период с 15 по 22 января наш коэффициент конверсии за одну неделю значительно увеличился, и если мы сможем поддерживать его, сохраняя при этом объем регистраций, это будет хорошим знаком на ближайшие недели.

Групповые показатели позволяют нам получать более качественную обратную связь намного быстрее, чем в противном случае. Часто последствия наших нынешних действий размываются импульсом наших прошлых действий. В этом случае, когда большинство конверсий происходит на четвертой неделе, было бы трудно увидеть изменение на 0,05% на первой неделе, которое говорит нам о том, что мы на правильном пути.

Однако важно помнить, что эти показатели все еще не идеальны. В этом примере, если мы позволим себе слишком сосредоточиться на первых показателях конверсии, мы рискуем потратить кучу энергии, пытаясь ускорить график конверсии, а не увеличить общее количество конверсий. Хорошо, если мы можем переместить конверсии с четвертой недели на первую, но если целью было увеличение общего числа конверсий, мы промахнулись.

Итерация 3: получение значимой метрики

В нашем идеальном мире в тот момент, когда мы действуем, мы видим, как это действие влияет на конверсию. Это дает нам тесную и четкую петлю обратной связи, против которой мы можем действовать. Это тот случай, когда мы можем использовать машинное обучение для поддержки человеческого обучения.

Как только нам удалось зарегистрироваться в правильно оснащенном продукте SaaS, они очень быстро начинают демонстрировать свои намерения. Здесь нет глубокой магии — если бы вы могли наблюдать через чье-то плечо, вы, вероятно, быстро поняли бы, намеревается ли он обратиться. Человек, подписавшийся на бесплатную добычу, ведет себя иначе, чем тот, кто серьезно оценивает продукт. Машинное обучение просто позволяет нам ответить на этот вопрос в масштабе.

Мы задаем нашей модели машинного обучения один вопрос: «Основываясь на всем, что мы видели, этот человек похож на человека, который собирается совершить конверсию в течение четырех недель?» Задавая этот единственный вопрос, мы получаем метрику, которая нас действительно волнует, начиная с 4-х недель и заканчивая настоящим моментом.

Теперь мы можем видеть вещи очень быстро и очень ясно. Как у нас дела на этой неделе? Лучше, чем на прошлой неделе, и намного лучше, чем две недели назад. Мы можем сосредоточить наше внимание на том, что действительно важно, на конверсиях, и в то же время вовремя получать обратную связь, чтобы действовать в соответствии с ней и учиться на ней.

Хотя при таком подходе следует помнить об опасностях, они, как правило, исходят из мест, которых довольно легко избежать. Самое сложное — это желание объяснить, почему вещи таковы, каковы они есть. Почему число вверх? Почему они упали? Правда в том, что модели машинного обучения — это механизмы корреляции, они не могут определять причины. В научном сообществе существуют методы причинно-следственного вывода, но они требуют значительных усилий и по-прежнему оставляют результаты, требующие звездочек[2]. Путаница корреляции с причинно-следственной связью просто заведет вас в тупик.

Чтобы проиллюстрировать это, предположим, что мы находим связь между приглашением трех других пользователей и конверсией. Значит ли это, что мы должны запустить кампанию, чтобы люди пригласили трех новых пользователей? Возможно нет. Более вероятно, что люди, которые серьезно рассматривают возможность конвертации, также собираются пригласить других пользователей. Подталкивание их к чему-то, к чему они не готовы, может навредить конверсиям.

У людей и машин есть странная общая черта — вы можете заставить их говорить, но вы не можете заставить их рассказать вам то, чего они не знают. Лучше использовать мягкий подход, позвольте им рассказать вам, что они могут, и пусть человеческое обучение сделает все остальное. Используйте их отзывы, чтобы формировать теории со всей известной вам информацией, которую машина просто не может. Попробуйте их, и пусть модель машинного обучения даст вам быструю обратную связь, необходимую для уточнения ваших идей, и повторите попытку.

Эффективные циклы обратной связи являются ключом к успеху бизнеса. Чтобы определить, движемся ли мы в правильном направлении, нам нужна недвусмысленная обратная связь. Инструменты обработки данных помогают нам предоставлять высококачественную обратную связь и стоят затраченных усилий.

[1] Неделя, как правило, является хорошим периодом когорты, поскольку она сглаживает произвольные пики и спады, которые приходятся на будние и выходные дни.

[2] Они часто склоняются к тому, что «мы не смогли показать, что это не было случайностью», что является улучшением, но не серебряной пулей.