Становится все более важным иметь возможность идентифицировать пользователей на их устройствах, чтобы предоставлять им релевантный персонализированный контент. В настоящее время компании идентифицируют отдельных пользователей в Интернете с помощью файлов cookie. Однако мобильные приложения не используют файлы cookie, вместо этого они полагаются на идентификаторы устройств, созданные исключительно для рекламы в приложениях. Поскольку эти идентификаторы доступны только через приложения, чтобы иметь полный профиль действий пользователя в Интернете и на мобильных устройствах, необходимо иметь возможность сопоставлять файлы cookie пользователя с идентификаторами его устройств. Это известно как сопоставление между устройствами.

В этом техническом документе мы описываем, как мы оценивали трех основных поставщиков вероятностного сопоставления устройств. Как Платформа управления данными (DMP), наша цель — предоставить цифровым агентствам, СМИ, телекоммуникационным компаниям и компаниям электронной коммерции возможность включать или даже нацеливать исключительно пользователей мобильных приложений в свои рекламные кампании. Поскольку эти поставщики используют вероятностные модели, для нас крайне важно понимать качество этих моделей и гарантировать, что наши клиенты могут рассчитывать на наилучшие возможные совпадения между устройствами.

Настройка оценки

Для оценки мы сначала установили непрерывную синхронизацию нашей пользовательской базы с тремя провайдерами, чтобы они могли предоставлять данные о разных устройствах только для наших пользователей. Затем мы договорились о еженедельной доставке их данных, что позволило нам оценить не только качество их прогнозов, но и стабильность во времени. Мы разработали систему оценки, чтобы иметь возможность быстро обрабатывать новые данные каждую неделю и измерять качество.

Каждую неделю каждый провайдер отправлял файл, содержащий список пользователей, их идентификаторы файлов cookie и их предполагаемые соответствующие идентификаторы устройств. Идентификаторы устройств включали устройства на платформах iOS и Android и охватывали форм-факторы мобильных устройств и планшетов.

Мы также получили так называемые наземные данные в том же формате от ведущего поставщика панельных данных. Этот провайдер тщательно разрабатывает онлайн-панели и собирает данные, заведомо верные, которые можно использовать для оценки точности прогнозируемых данных.

Рисунок 1. Представление данных от наземных и кросс-девайсных поставщиков

Вселенная печенья

Чтобы выполнить эту оценку, мы хотели убедиться, что у нас есть достаточно большое количество идентификаторов файлов cookie от реальных и недавних пользователей. Мы договорились с одним из наших клиентов, у которого был взаимный интерес к этой теме, чтобы он мог использовать их обширный портфель веб-сайтов. Взамен они получили полные результаты этой оценки.

Чтобы обеспечить объективное сравнение поставщиков, свободное от какой-либо потенциальной предвзятости со стороны нашего клиента или иным образом, мы работали исключительно в пространстве 1plusX. Когда пользователь заходит на один из веб-сайтов наших клиентов, мы создаем для пользователя идентификатор и сохраняем его в файле cookie 1plusX. Затем мы поделились этими идентификаторами файлов cookie с поставщиками кросс-устройств, чтобы они могли отправлять идентификаторы устройств только для соответствующих пользователей.

Мы собрали большое количество файлов cookie за несколько месяцев; однако мы не использовали полный набор. Мы игнорировали пользователей, которые удалили свои файлы cookie и неактивные. Для этого каждую неделю мы ограничивали нашу вселенную файлов cookie пересечением файлов cookie, которые мы видели за последние 2 недели и за предыдущий период. Таким образом, оценка основывалась только на повторяющихся файлах cookie.

Рисунок 2. Определение вселенной файлов cookie, на которой основана оценка

Вселенная для нашей оценки состояла из 2 миллионов файлов cookie. Поскольку в портфолио наших клиентов были все швейцарские веб-сайты, эта оценка была ограничена рынком в Швейцарии.

Пересечение между наземными данными и нашей вселенной оказалось меньше, чем ожидалось, поэтому мы ввели дополнительный подход к проверке консенсуса. В методе консенсуса мы определили совпадение идентификатора устройства как правильное, если по крайней мере 2 из 3 провайдеров предсказали одно и то же устройство (устройства) для данного пользователя. Преимущество этого заключалось в увеличении количества файлов cookie в оценке, но это могло привести к предвзятости. Например, если один провайдер будет прав, а другие ошибаются, но будут согласны, правильный провайдер будет оштрафован, а остальные вознаграждены. Чтобы убедиться, что наша оценка была объективной, мы параллельно использовали как вселенную файлов cookie, так и методы проверки консенсуса, и сравнивали их соответствующие результаты по нескольким точкам оценки. Во всех случаях результаты метода наземной истины подтвердили консенсусный подход, и поэтому мы уверены, что консенсусный подход не внес значительных погрешностей.

Чтобы сделать этот технический документ кратким, мы представим результаты только одной точки оценки.

Метрики

В нашей оценке мы отслеживали несколько показателей, но в этой статье мы сосредоточимся на трех:

  • Покрытие
  • Средний отзыв
  • Средняя точность

Охват провайдера определяется как процент файлов cookie, для которых мы получаем прогноз по их графику. Это представляет интерес для наших клиентов, поскольку показывает долю пользователей, для которых они получат совпадение идентификатора устройства, и, следовательно, оценивает потенциальный охват кампании на разных устройствах.

Точность и отзыв немного сложнее понять. Точность определяется как процент спрогнозированных устройств, которые являются правильными, а отзыв определяется как доля правильно спрогнозированных реальных устройств. Оба они важны для нас, поскольку отзыв представляет собой долю общего количества предсказанных устройств, а точность — качество каждого предсказания.

Пример точности/отзыва

Ground Truth указывает, что пользователь имеет два устройства: A и B, показанные в столбце Ground Truth. Ниже приведены три различных набора прогнозов и соответствующие им точность и полнота.

Рис. 3. Точность и полнота для трех примеров.

Обычно существует компромисс между точностью и полнотой. Чем больше прогнозов сделано, тем труднее добиться высокой точности; тем не менее, тем легче иметь высокий отзыв. Это часто можно увидеть в рекламной индустрии. В кампаниях по брендингу компания хочет охватить как можно больше пользователей и поэтому оптимизирует запоминаемость. С другой стороны, в кампаниях, ориентированных на эффективность, рекламодатель хочет ориентироваться на наиболее релевантных для продукта пользователей и вместо этого сосредотачивается на точности.

Обратите внимание, что предпочтительнее рассчитывать точность и полноту, используя наземную правду. В следующем разделе мы обсудим результаты точности и полноты, рассчитанные для подмножества, где у нас были результаты истинности и покрытия, при использовании комбинации методов консенсуса и истинности.

Результаты

Чтобы быть справедливыми по отношению ко всем оцененным поставщикам, мы анонимизировали результаты и не предоставляем полные цифры в результатах / диаграммах.

Среднее количество прогнозов устройств

Глядя на данные, отправленные каждым провайдером, мы сразу же заметили разные подходы, исключительно глядя на выходные данные их моделей. Одним из простых показателей, иллюстрирующих это, было то, сколько устройств в среднем предсказывали провайдеры для каждого файла cookie.

Рисунок 4. Среднее количество прогнозов на файл cookie

Один провайдер делает заметно меньше прогнозов устройств, чем два других, и, по-видимому, больше оптимизирует точность.

Покрытие

Полезно посмотреть, какая часть нашей пользовательской базы была охвачена каждым провайдером, и мы были удивлены, увидев такое несоответствие в охвате.

Рисунок 5. Покрытие вселенной файлов cookie

Один провайдер явно лидировал, предоставляя устройства почти 1 из 2 пользователей. Эти цифры, естественно, следует рассматривать вместе с показателями качества; однако мы, тем не менее, ожидали аналогичного охвата у всех провайдеров.

Отзывать

Несмотря на лидерство в охвате, мы заметили, что этот провайдер предлагает лишь незначительно лучший отзыв по сравнению с одним из его конкурентов.

Рисунок 6. Покрытие и отзыв каждого поставщика

Точность

Провайдер с большим охватом, но немного лучшим отзывом, казалось, предполагал, что он отправляет больше прогнозов за счет качества. Это подтвердилось при проверке точности.

Рис. 7. Точность

Провайдер с самым высоким покрытием теперь отставал с точностью ниже 30%, тогда как провайдер с наименьшим покрытием продемонстрировал свою силу.

Вывод

Однозначного решения проблемы кросс-девайса не существует. Поскольку исходные данные ограничены, нам нужно полагаться на вероятностные модели для приемлемого уровня охвата, а это означает работу с прогнозами. В зависимости от варианта использования необходимо принять решение о том, следует ли оптимизировать точность или полноту. Оглядываясь назад на этот анализ, каждый провайдер предлагает свой вариант этой двойственности. Один предлагал точность, а не охват, другой отдавал предпочтение охвату, а не точности, а третий провайдер предложил более сбалансированный подход.

Рис. 8. Обзор компромисса между точностью и охватом двух поставщиков

Этот компромисс затрагивает всех игроков рекламного рынка. Иногда рекламодатели предпочитают широкий охват, например, низкому рейтингу кликов. В других случаях будет нацелен небольшой сегмент, чтобы ограничить стоимость кампании.

Одним из возможных решений может быть регистрация всех трех провайдеров и использование одного из них, когда его сила соответствует желаемому результату. Однако это было непомерно дорого. Мы решили остановиться на провайдере, который предложил лучший компромисс. Этот провайдер дал устройства 1 из 3 пользователей и для этих пользователей предсказал в среднем 60% их устройств.

Важно помнить, что это исследование проводилось только на швейцарском рынке. Результаты, вероятно, отличаются на других рынках, а также меняются со временем. Мы с нетерпением ждем возможности наблюдать за этой эволюцией и оценивать различные рынки, когда у нас будет такая возможность.

Автор: Дэвид Малиндж, 1plusX