Авторы Ашок Чандрашекар, Фернандо Амат, Джастин Базилико и Тони Джебара

На протяжении многих лет основной целью системы персонализированных рекомендаций Netflix было предоставить каждому из наших участников правильные титулы в нужное время. С каталогом, охватывающим тысячи наименований, и разнообразной базой участников, охватывающей более ста миллионов учетных записей, рекомендация названий, которые подходят каждому участнику, имеет решающее значение. Но работа по рекомендации на этом не заканчивается. Почему вам следует заботиться о каком-то конкретном названии, которое мы рекомендуем? Что мы можем сказать о новом и незнакомом названии, которое вызовет у вас интерес? Как мы убедим вас, что название стоит посмотреть? Ответы на эти вопросы очень важны для того, чтобы помочь нашим участникам открыть для себя отличный контент, особенно для незнакомых названий. Одним из способов решения этой проблемы является рассмотрение иллюстраций или изображений, которые мы используем для изображения названий. Если художественное произведение, представляющее заголовок, захватывает что-то привлекательное для вас, оно действует как вход в этот заголовок и дает вам визуальное «доказательство» того, почему заголовок может быть вам полезен. Работа может выделить актера, которого вы узнали, запечатлеть захватывающий момент, например, автомобильную погоню, или содержать драматическую сцену, передающую суть фильма или телешоу. Если мы представим это идеальное изображение на вашей домашней странице (и, как говорится, изображение стоит тысячи слов), то, может быть, вы попробуете. Это еще одно отличие Netflix от традиционных медиа-предложений: у нас не один продукт, а более 100 миллионов различных продуктов, по одному для каждого из наших участников с персональными рекомендациями и персонализированными визуальными эффектами .

В предыдущей работе мы обсуждали попытку найти единственное идеальное изображение для каждого заголовка для всех наших участников. С помощью алгоритмов многоруких бандитов мы искали лучшие иллюстрации для игры, скажем, Stranger Things, которая принесла бы наибольшую пользу большинству наших участников. Однако, учитывая огромное разнообразие вкусов и предпочтений, не было бы лучше, если бы мы могли найти лучшие иллюстрации для каждого из наших участников, чтобы выделить аспекты заголовка, которые имеют непосредственное отношение к их?

В качестве вдохновения давайте рассмотрим сценарии, в которых персонализация произведений искусства будет иметь смысл. Рассмотрим следующие примеры, в которых разные участники имеют разную историю просмотров. Слева три заголовка, которые участник смотрел в прошлом. Справа от стрелки находится обложка, которую участник получит для определенного фильма, который мы им рекомендуем.

Давайте рассмотрим попытку персонализировать изображение, которое мы используем для изображения фильма «Добрый Уилл Хантинг». Здесь мы можем персонализировать это решение в зависимости от того, насколько участник предпочитает разные жанры и темы. Тот, кто смотрел много романтических фильмов, может быть заинтересован в «Доброй Уилле Хантинге», если мы покажем иллюстрацию с Мэттом Дэймоном и Минни Драйвер, тогда как участник, который смотрел много комедий, может быть привлечен к фильму, если мы воспользуемся иллюстрацией, содержащей Робина Уильямса, известный комик.

В другом сценарии давайте представим, как разные предпочтения актеров могут повлиять на персонализацию обложек фильма «Криминальное чтиво». Участник, который смотрит много фильмов с участием Умы Турман, скорее всего, положительно отреагирует на произведение «Криминальное чтиво», в котором есть Ума. Между тем, поклонник Джона Траволты может быть более заинтересован в просмотре «Криминального чтива», если на обложке изображен Джон.

Конечно, не все сценарии персонализации произведений искусства настолько ясны и очевидны. Поэтому мы не перечисляем такие правила, выведенные вручную, а вместо этого полагаемся на данные, которые говорят нам, какие сигналы использовать. В целом, персонализируя художественные работы, мы помогаем каждому названию проявить себя наилучшим образом для каждого члена и, таким образом, улучшить опыт наших участников.

Вызовы

В Netflix мы применяем персонализацию и алгоритмически адаптируем многие аспекты взаимодействия с нашими участниками, включая строки, которые мы выбираем для домашней страницы, заголовки, которые мы выбираем для этих строк, галереи, которые мы отображаем, сообщения, которые мы отправляем, и т. Д. . Каждый новый аспект, который мы персонализируем, сопряжен с уникальными проблемами; Персонализация отображаемых нами произведений искусства не является исключением и сопряжена с различными проблемами персонализации. Одна из проблем персонализации изображений заключается в том, что мы можем только выбрать один произведение искусства для представления каждого заголовка в каждом месте, где мы его представляем. Напротив, типичные настройки рекомендаций позволяют нам представить множественный выбор участнику, где мы впоследствии можем узнать об их предпочтениях из элемента, который выбирает участник. Это означает, что выбор изображения - это проблема курицы и яйца, работающая в замкнутом цикле: если участник воспроизводит заголовок, он может исходить только от изображения, которое мы решили представить этому участнику. Мы стремимся понять, когда представление определенного произведения искусства для заголовка повлияло на то, чтобы участник играл (или не играл) заголовок, и когда участник мог бы воспроизвести заголовок (или нет) независимо от того, какое изображение мы представили. Таким образом, персонализация произведений искусства стоит над традиционной проблемой рекомендаций, и алгоритмы должны работать в сочетании друг с другом. Конечно, чтобы правильно научиться персонализировать произведение искусства, нам нужно собрать много данных, чтобы найти сигналы, указывающие, когда одно произведение искусства значительно лучше для участника.

Еще одна проблема - понять влияние изменения иллюстраций, которые мы показываем участнику для названия между сессиями. Снижает ли изменение обложки узнаваемость заголовка и затрудняет визуальное обнаружение заголовка снова, например, если участник думал, что раньше интересовался, но еще не смотрел его? Или изменение самого изображения заставляет участника пересмотреть его из-за улучшенного выбора? Ясно, что если мы найдем лучшую иллюстрацию для представления участнику, мы, вероятно, должны ее использовать; но постоянные изменения также могут сбивать с толку людей. Смена изображений также создает проблему атрибуции, поскольку становится неясным, какое изображение побудило участника заинтересоваться заголовком.

Затем необходимо понять, как произведение искусства работает по сравнению с другим произведением искусства, которое мы выбираем на той же странице или в сеансе. Может быть, смелый крупный план главного героя подходит для заголовка на странице, потому что он выделяется по сравнению с другими произведениями искусства. Но если бы у каждого заголовка было похожее изображение, тогда страница в целом не могла бы казаться такой привлекательной. Глядя на каждое произведение искусства по отдельности, может быть недостаточно, и нам нужно подумать о том, как выбрать разнообразный набор изображений для заголовков на странице и в течение сеанса. Помимо иллюстраций к другим названиям, эффективность иллюстраций к названию может зависеть от того, какие другие типы доказательств и активов (например, резюме, трейлеры и т. Д.) Мы также отображаем для этого названия. Таким образом, нам может потребоваться разнообразный выбор, каждый из которых может выделить дополнительные аспекты заголовка, которые могут быть привлекательными для участника.

Чтобы добиться эффективной персонализации, нам также нужен хороший набор иллюстраций для каждого заголовка. Это означает, что нам нужно несколько ресурсов, каждый из которых будет интересным, информативным и репрезентативным для заголовка, чтобы избежать «кликбейта». Набор изображений для заголовка также должен быть достаточно разнообразным, чтобы охватить широкую потенциальную аудиторию, интересующуюся различными аспектами контента. В конце концов, насколько интересным и информативным будет произведение искусства, зависит от человека, который его видит. Следовательно, нам нужно иметь художественное произведение, которое подчеркивает не только разные темы в названии, но и разную эстетику. Наши команды художников и дизайнеров стремятся создавать изображения, которые разнообразны во многих измерениях. Они также принимают во внимание алгоритмы персонализации, которые будут выбирать изображения в процессе их творчества для создания произведений искусства.

Наконец, существуют инженерные задачи для масштабной персонализации произведений искусства. Одна из проблем заключается в том, что опыт наших участников очень наглядный и, следовательно, содержит много образов. Таким образом, использование персонализированного выбора для каждого актива означает обработку пика более 20 миллионов запросов в секунду с низкой задержкой. Такая система должна быть надежной: неспособность должным образом отображать изображения в нашем пользовательском интерфейсе значительно ухудшает восприятие. Наш алгоритм персонализации также должен быстро реагировать при запуске заголовка, что означает быстрое обучение персонализации в ситуации холодного старта. Затем, после запуска, алгоритм должен постоянно адаптироваться, поскольку эффективность художественных работ может меняться со временем по мере того, как название меняется в течение его жизненного цикла, а вкусы участников меняются.

Подход контекстных бандитов

Большая часть механизма рекомендаций Netflix работает на алгоритмах машинного обучения. Традиционно мы собираем пакет данных о том, как наши участники используют сервис. Затем мы запускаем новый алгоритм машинного обучения на этом пакете данных. Затем мы тестируем этот новый алгоритм на существующей производственной системе с помощью A / B-теста. A / B-тест помогает нам увидеть, лучше ли новый алгоритм, чем наша текущая производственная система, опробовав его на случайном подмножестве участников. Члены группы A получают текущий производственный опыт, а участники группы B получают новый алгоритм. Если участники группы B более активно взаимодействуют с Netflix, мы внедряем новый алгоритм для всего населения. К сожалению, такой пакетный подход вызывает сожаление: многие участники в течение длительного периода времени не извлекали пользы из лучшего опыта. Это показано на рисунке ниже.

Чтобы уменьшить это сожаление, мы отказываемся от пакетного машинного обучения и рассматриваем онлайн-машинное обучение. Для персонализации произведений искусства мы используем особую структуру онлайн-обучения - контекстные бандиты. Вместо того, чтобы ждать, чтобы собрать полный пакет данных, изучить модель, а затем ждать завершения A / B-теста, контекстные бандиты быстро определяют оптимальный персонализированный выбор иллюстраций для названия для каждого члена и контекста. Вкратце, контекстные бандиты - это класс алгоритмов онлайн-обучения, в которых стоимость сбора обучающих данных, необходимых для непрерывного изучения беспристрастной модели, сочетается с преимуществами применения изученной модели к контексту каждого члена. В нашей предыдущей работе по выбору обезличенных изображений мы использовали неконтекстные бандиты, где мы нашли выигрышное изображение независимо от контекста. Для персонализации член - это контекст, поскольку мы ожидаем, что разные члены будут по-разному реагировать на изображения.

Ключевым свойством контекстных бандитов является то, что они созданы, чтобы минимизировать сожаление. На высоком уровне обучающие данные для контекстного бандита получают путем введения контролируемой рандомизации в предсказания изученной модели. Схемы рандомизации могут различаться по сложности от простых эпсилон-жадных формулировок с равномерной случайностью до схем с замкнутым циклом, которые адаптивно изменяют степень рандомизации в зависимости от неопределенности модели. В широком смысле мы называем этот процесс исследованием данных. Количество иллюстраций-кандидатов, доступных для заголовка, а также размер всей совокупности, для которой будет развернута система, определяют выбор стратегии исследования данных. При таком исследовании нам необходимо регистрировать информацию о рандомизации для каждого выбранного произведения искусства. Это ведение журнала позволяет нам корректировать склонность к асимметричному выбору и, таким образом, выполнять беспристрастную оценку модели в автономном режиме, как описано ниже.

Исследование контекстных бандитов обычно связано с затратами (или сожалением) из-за того, что наш выбор иллюстраций в сеансе участника может не использовать предсказанное лучшее изображение для этого сеанса. Какое влияние эта рандомизация оказывает на впечатления участников (и, следовательно, на наши показатели)? С более чем сотней миллионов участников сожаление, вызванное исследованием, обычно очень невелико и амортизируется по всей нашей большой членской базе, причем каждый член неявно помогает предоставлять отзывы об произведениях искусства для небольшой части каталога. Это делает стоимость исследования для каждого члена незначительной, что является важным соображением при выборе контекстных бандитов для управления ключевым аспектом опыта наших участников. Рандомизация и исследование с контекстными бандитами были бы менее подходящими, если бы стоимость исследования была высокой.

В соответствии с нашей схемой онлайн-исследования мы получаем обучающий набор данных, который записывает для каждого кортежа (элемент, заголовок, изображение) независимо от того, привел ли этот выбор к воспроизведению заголовка или нет. Кроме того, мы можем контролировать исследование, чтобы выбранные изображения не менялись слишком часто. Это позволяет более четко отнести участие участника к конкретному произведению искусства. Мы также тщательно определяем ярлык для каждого наблюдения, глядя на качество взаимодействия, чтобы избежать изучения модели, которая рекомендует изображения «кликбейт»: те, которые побуждают участника начать игру, но в конечном итоге приводят к низкому качеству взаимодействия.

Модельное обучение

В этой среде онлайн-обучения мы обучаем нашу контекстную модель бандита выбирать лучшие работы для каждого члена в зависимости от их контекста. Обычно у нас есть до нескольких десятков изображений-кандидатов на одно название. Чтобы изучить модель выбора, мы можем рассмотреть упрощение проблемы путем ранжирования изображений для каждого члена независимо по заголовкам. Даже с этим упрощением мы все еще можем узнать предпочтения изображений участников в заголовках, потому что для каждого кандидата изображения у нас есть некоторые участники, которым он был представлен и которые участвовали в этом заголовке, и некоторые участники, которым это было представлено, но не участвовало. Эти предпочтения можно смоделировать для прогнозирования для каждого кортежа (член, заголовок, изображение) вероятность того, что член получит качественное взаимодействие. Это могут быть модели обучения с учителем или контекстные аналоги бандитов с выборкой Томпсона, LinUCB или байесовскими методами, которые разумно уравновешивают получение наилучшего прогноза с исследованием данных.

Возможные сигналы

В контекстных бандитах контекст обычно представлен как вектор признаков, предоставляемый в качестве входных данных для модели. Есть много сигналов, которые мы можем использовать для решения этой проблемы. В частности, мы можем рассмотреть многие атрибуты участника: названия, которые они играли, жанр названий, взаимодействие участника с конкретным названием, их страна, их языковые предпочтения, устройство, которое использует участник, время суток и день недели. Поскольку наш алгоритм выбирает изображения вместе с нашим персонализированным механизмом рекомендаций, мы также можем использовать сигналы о том, что наши различные алгоритмы рекомендаций думают о заголовке, независимо от того, какое изображение используется для его представления.

Важным моментом является то, что некоторые изображения в пуле кандидатов, естественно, лучше других. В нашем исследовании данных мы наблюдаем общую скорость просмотра для всех изображений, которая представляет собой просто количество качественных воспроизведений, деленное на количество показов. В нашей предыдущей работе по отбору обезличенных произведений искусства использовались общие различия в скорости съемки, чтобы определить единственное лучшее изображение для выбора для всей совокупности. В нашей новой контекстно-персонализированной модели общие коэффициенты выбора по-прежнему важны, а персонализация по-прежнему восстанавливает выбор, который в среднем соответствует рейтингу неперсонализированной модели.

Выбор изображения

Оптимальное назначение графического изображения участнику - это проблема выбора, чтобы найти лучшее изображение-кандидат из пула доступных изображений заголовка. После обучения модели, как указано выше, мы используем ее для ранжирования изображений для каждого контекста. Модель предсказывает вероятность воспроизведения данного изображения в заданном контексте члена. Мы сортируем набор изображений-кандидатов по этим вероятностям и выбираем тот, который имеет наибольшую вероятность. Это изображение, которое мы представляем этому конкретному участнику.

Оценка эффективности

Не в сети

Чтобы оценить наши контекстные алгоритмы бандитов перед их развертыванием в сети на реальных членах, мы можем использовать офлайн-метод, известный как replay [1]. Этот метод позволяет нам отвечать на контрфактические вопросы на основе зарегистрированных данных разведки (рис. 1). Другими словами, мы можем сравнить в автономном режиме, что произошло бы в исторических сессиях при различных сценариях, если бы мы непредвзято использовали разные алгоритмы.

Воспроизведение позволяет нам увидеть, как участники взаимодействовали бы с нашими заголовками, если бы у нас были гипотетически представленные изображения, которые были выбраны с помощью нового алгоритма, а не алгоритма, используемого в производстве. Для изображений нас интересуют несколько показателей, в частности доля дублей, как описано выше. На рисунке 2 показано, как подход контекстного бандита помогает увеличить среднюю долю захвата по каталогу по сравнению со случайным выбором или неконтекстным бандитом.

онлайн

После экспериментов со многими различными моделями в автономном режиме и нахождения тех, у которых значительно увеличилось количество повторов, мы в конечном итоге провели A / B-тест, чтобы сравнить наиболее многообещающих персонализированных контекстных бандитов с обезличенными бандитами. Как мы и подозревали, персонализация сработала и привела к значительному увеличению наших основных показателей. Мы также увидели разумную корреляцию между тем, что мы измеряли в автономном режиме при воспроизведении, и тем, что мы видели в Интернете с помощью моделей. Онлайн-результаты также позволили сделать некоторые интересные выводы. Например, улучшение персонализации было больше в тех случаях, когда участник ранее не взаимодействовал с заголовком. Это имеет смысл, потому что мы ожидаем, что произведение будет более важным для кого-то, когда название менее знакомо.

Заключение

Благодаря такому подходу мы сделали первые шаги в персонализации выбора иллюстраций для наших рекомендаций и для всего нашего сервиса. Это привело к значительному улучшению того, как наши участники открывают для себя новый контент… поэтому мы предоставили его всем! Этот проект - первый пример персонализации не только того, что мы рекомендуем, но и того, как мы рекомендуем нашим участникам. Но есть много возможностей расширить и улучшить этот первоначальный подход. Эти возможности включают разработку алгоритмов для обработки холодного старта путем максимально быстрой персонализации новых изображений и новых заголовков, например, с использованием методов компьютерного зрения. Еще одна возможность - распространить этот подход персонализации на другие типы произведений искусства, которые мы используем, и другие свидетельства, описывающие наши заголовки, такие как резюме, метаданные и трейлеры. Существует также еще более широкая проблема: помочь художникам и дизайнерам выяснить, какие новые изображения мы должны добавить в набор, чтобы сделать заголовок еще более привлекательным и персонализированным.

Если такие задачи вас интересуют, сообщите нам об этом! Мы всегда ищем отличных людей, которые присоединятся к нашей команде, и для проектов такого типа нас особенно привлекают кандидаты с опытом машинного обучения и / или компьютерного зрения.

использованная литература

[1] Л. Ли, В. Чу, Дж. Лэнгфорд и X. Ван, «Беспристрастная офлайн-оценка алгоритмов рекомендаций для новостных статей на основе контекстных бандитов», в Труды четвертой Международной конференции ACM по поиску в Интернете. и интеллектуальный анализ данных, Нью-Йорк, Нью-Йорк, США, 2011 г., стр. 297–306.