Были ли у вас когда-нибудь проблемы с доставкой еды? Я уверен, что у вас есть. На самом деле это первое, о чем мне говорят, как только я упоминаю, что работаю в Glovo. «Вы можете поверить, что они пропустили мою картошку фри?».
Могут быть проблемы с курьерами, проблемы с партнерами, недопонимание и т. д. Поэтому, конечно, возврат средств очень важен для нас. Это лучший способ компенсировать любую проблему, которая у них могла возникнуть. Но, как и во многих других системах, мошенники и злоумышленники пытаются воспользоваться возмещением. Мы поняли, что если вы заблокируете самых злостных нарушителей и увеличите количество автоматически возвращаемых средств, это не только сократит расходы, но и ускорит и улучшит взаимодействие с клиентами.
Возврат средств и оценка риска
Когда вы запрашиваете возмещение в Glovo, у вас в основном есть три возможных результата:
- Самообслуживание или автоматический возврат: это процесс получения возмещения без необходимости разговаривать с кем-либо. Автоматические возвраты не только лучше, потому что они помогают нам сократить расходы, они также выгодны тем, что клиент может без проблем получить возмещение.
- Окно поддержки клиентов, где вы можете поговорить с агентом и решить любые проблемы, которые у вас возникли в вашем заказе.
- Возврат заблокирован, сообщение указывает, что вы не получите возмещение.
Но, конечно, когда процесс прост, некоторые люди этим пользуются. Это то, что мы называем нарушителями возврата, клиенты, которые пользуются тем, как мало трений в этом процессе, чтобы получить компенсацию. Для них характерно большое количество возвратов средств, как правило, это более новые учетные записи, у них часто несколько учетных записей (на одном устройстве, с использованием одного и того же номера телефона, кредитной карты и т. д.), и они также склонны покупать товары, которые можно перепроданные (бутылки с ликером, SIM-карты, видеоигры и т. д.)
Чтобы решить проблему злоупотребления клиентами системой автоматического возврата средств, была создана оценка риска для выявления таких пользователей, которые могут совершать неправомерные действия, связанные с возвратом средств. Это оценка от 0 до 100, где более высокие значения представляют клиентов с более высоким риском. Оценка риска работает в сочетании с набором правил, разработанных и обновляемых аналитиками мошенничества. Мы описываем это как своего рода светофор: клиенты с низким риском — «зеленые», и их возмещение предоставляется автоматически, клиенты со средним риском — «желтые» и отправляются в службу поддержки, а клиенты с высоким риском — «красные» и автоматически блокируются. .
Когда она работает, модель генерирует свой прогноз между временем, когда клиенты делают заказ, и временем, когда они (в среднем) запрашивают возмещение. Счет готов для каждого клиента, который заказывает, независимо от того, запрашивал ли он когда-либо возмещение.
Теперь, чтобы рассчитать этот балл, мы используем модель машинного обучения. После тестирования нескольких альтернатив был выбран алгоритм Isolation Forest, неконтролируемый алгоритм обнаружения аномалий. Он похож на случайный лес тем, что создает древовидную структуру данных. Однако здесь деревья сделаны таким образом, что самые маленькие ветви указывают на то, какие точки данных являются более аномальными. Для оценки риска мы считаем самые аномальные точки данных наиболее рискованными.
Мы снабжаем модель различными функциями, чтобы определить, какие точки данных являются более аномальными. В модель мы включаем такие функции, как общий коэффициент возврата (сумма возмещения в евро / общая сумма, потраченная в евро) и коэффициент отмены (процент отмененных заказов), чтобы предоставить информацию о том, как они обычно ведут себя в отношении возмещения; если это первый заказ клиента; используемые промокоды и; количество других клиентов в сети.
Когда мы говорим о клиентских сетях, мы имеем в виду другую модель, которая работает, соединяя клиентов друг с другом на основе общих устройств, кредитных карт, телефонных номеров и т. д. Для модели возмещения эти сетевые функции используются для лучшего выявления злоумышленников, создающих новые учетные записи, чтобы попытаться получить больше возмещений после того, как они были заблокированы. Эти новые учетные записи обычно разделяют по крайней мере один из этих элементов с предыдущими учетными записями, что делает их частью одной сети.
Сложной частью неконтролируемой модели является проверка результатов. Когда мы смотрим на результаты модели, у нас есть три важных момента для анализа:
- Выявляем ли мы самых жестоких клиентов?
- Сколько неагрессивных клиентов будет оштрафовано (ложные срабатывания)?
- Какие клиенты идентифицированы как выбросы?
Во-первых, мы изучаем период после предоставления возмещения, чтобы проанализировать рецидивистов и проверить результаты модели. Кроме того, мы регулярно производим образцы, которые проверяются и маркируются вручную экспертами по мошенничеству. Группа по борьбе с мошенничеством тщательно проверяет случаи и определяет, когда модель неправильно маркировала заказ. Таким образом, мы можем определить ложные срабатывания/отрицательные результаты и увидеть конкретные случаи, когда модель делает неверные прогнозы и почему. Помимо прочего, мы также отслеживаем важность функций, чтобы увидеть, какие факторы увеличивают или уменьшают оценку риска.
В целом мы получили потрясающие результаты, но в некоторых областях необходимо проделать дополнительную работу. С тех пор, как она была реализована, модель довольно точно выявляет самых рискованных клиентов, а с добавлением сетевых функций она может выявлять недобросовестных клиентов, которые создают дубликаты учетных записей. Самая большая проблема до сих пор была с ложными срабатываниями, оценка может быть наказанием. Например, у конкретного клиента может быть плохая неделя с тремя возвратами, а затем ему может не быть предоставлено автоматическое возмещение в течение некоторого времени, потому что модель по-прежнему придает большое значение этим трем возмещениям. В настоящее время мы работаем над тем, чтобы сделать оценку менее суровой в тех случаях, когда она не оправдана.
Модель находится в производстве с 2022 года, и мы добились значительной экономии. Помимо блокировки наиболее злонамеренных клиентов, мы также снижаем стоимость всех запросов на возмещение, которые должны были быть отправлены в службу поддержки клиентов, которые теперь выполняются автоматически. Первая итерация, которую мы сделали, была предназначена только для возмещения средств, связанных с отсутствующими или ошибочными предметами, но с тех пор мы расширили ее, чтобы охватить широкий спектр случаев.
