В среднем пользователи Netflix тратят 21 минуту на поиск каждый день. С 300 миллионами пользователей это означает потерю более 38 миллиардов часов в год. Итак, как вы это понимаете, человек теряет около 126 часов своей жизни в год в нерешительности.

Рекомендации (в их нынешнем виде) вообще отстой. Машинное обучение и приложения призваны облегчить нашу жизнь и сэкономить время, но пользовательский опыт часто бывает несвязным. Это неудивительно, поскольку алгоритмы созданы не для вас, а для того, чтобы зарабатывать на вас деньги. В качестве альтернативы, персонализация создается специально для вас: небольшая разница, большая разница.

Теперь давайте углубимся в детали.

Рекомендации есть везде, но все же…

Помните, что достижения в области технологий позволили легко упустить из виду, что системы рекомендаций встроены практически в каждое устройство и платформу. Все, от Facebook до Target и Walgreens, собирают ваши данные, анализируют их и подталкивают к покупке продуктов, которые могут вам понадобиться, а могут и не понадобиться.

В то же время количество вариантов, к которым у потребителей есть доступ, экспоненциально растет: миллионы песен доступны на Spotify, тысячи шоу и фильмов транслируются онлайн, и есть неограниченное количество ресторанов, которые можно попробовать.

Эта сенсорная перегрузка означает, что людям нужны «системы фильтрации информации», которые помогают их разуму сортировать мусор.

Поиск и поиск: при поиске по содержанию существует разница между "поиском" и "поиском". Поиск - это то, что мы делаем сами, последний момент, когда вы принимаете решение. Поскольку мы редко получаем одну рекомендацию, мы обычно просматриваем тщательно подобранный список предложений и затем принимаем решение. С другой стороны, взгляд - это процесс поиска. И именно здесь механизм рекомендаций начинает иметь свое реальное значение. Механизмы рекомендаций по умолчанию являются «системой фильтрации информации», которая помогает нам что-то искать, а затем принимать решения.

Парадокс выбора: доступ к чрезмерному количеству контента вызывает настоящий стресс. В своей книге Цифровой минимализм профессор из Джорджтауна Кэл Ньюпорт обсуждает, как постоянное использование социальных сетей часто заставляет пользователей чувствовать себя перегруженными и выгоренными, что имеет смысл, учитывая, что многие из этих платформ имеют бесконечные новостные ленты. Итог: доступ к слишком большому количеству предложений вызывает настоящий стресс. Американский психолог Барри Шварц впервые представил эту концепцию в своей книге 2004 года Парадокс выбора. В своей книге Шварц приводит убедительные доводы в пользу того, что избыток выбора парализует потребителей и вызывает настоящую тревогу и разочарование. Наличие слишком большого количества вариантов - будь то онлайн-знакомства, платформы социальных сетей или рекомендации по содержанию - мешает пользователям принимать решения.

Это возвращает нас к ситуации с нашей «домашней страницей Netflix». Люди часто парализованы выбором и нуждаются в более индивидуально разработанных рекомендациях. Другой фактор - боязнь сделать «неоптимальный выбор». FOMO (страх пропустить) на правильные предметы, что также вызывает глубокое разочарование и неудовлетворенность.

Эта проблема настолько глубока, что среднестатистический пользователь Netflix во всем мире тратил 21 минуту в день или 126 часов в год в поисках того, что посмотреть! Подумайте о потраченном впустую времени - ой. Вот почему так важны персонализированные рекомендательные системы. Путем фильтрации множества элементов, относящихся к одному пользователю, вы устраняете шум, уменьшаете беспокойство и разочарование и позволяете пользователям выбирать среди подходящего набора предложений.

Системы с рекомендациями часто не персонализированы

Но если мне представлены рекомендации, разве они не учитывают мои уникальные вкусы и предпочтения? Почему я настаиваю на «индивидуальном» аспекте? Чтобы ответить на этот вопрос, нам нужно рассмотреть более математический подход к системам рекомендаций.

1 - Обычно наиболее часто используемым математическим подходом для рекомендательной системы является «Факторизация матрицы пользовательских элементов», или более часто называемая «Совместная фильтрация» или «Социальная фильтрация». Совместная фильтрация систематизирует информацию, используя вкусы других людей. Он основан на идее, что люди, которые соглашались в своих оценках пунктов в прошлом, вероятно, снова согласятся в будущем. Например, человек, который хочет посмотреть фильм, может попросить совета у друзей. Рекомендациям друзей со схожими интересами доверяют больше, чем рекомендациям других. Это можно резюмировать фразой «людям, у которых такой же вкус, как и у вас, это понравилось, так что вам тоже понравится».

Но общие последствия злоупотребления этим подходом (как и для большинства предприятий) оказывают большее влияние, чем мы думаем. Индивидуумы математически представлены как группа, а группы - как массы. Последовательность кластеризации постепенно приводит алгоритмы к выдаче рекомендаций, основанных на том, насколько мы похожи на других пользователей, а не на том, что делает нас уникальными.

Убедительная иллюстрация такой кластеризации можно найти в случае Netflix, где «более 80 процентов телешоу, которые люди смотрят на Netflix, обнаруживаются через систему рекомендаций платформы». В их конкретном случае рекомендации - это результаты когорт пользователей примерно на 2000 различных вкусовых групп. Другими словами, для общей абонентской базы Netflix (примерно 250 миллионов активных профилей) это будет означать, что один пользователь представлен как точно такой же, как 250 млн / 2–125 тыс. Других людей.

2 - Еще одним фактором нашей уникальности является контекст. И это все относительно. Самый простой пример - рассмотреть себя и увидеть, как контекстные изменения влияют на ваши решения и желания. Например, какую музыку вы слушаете утром, а какую - вечером? Они одинаковы или время и события дня влияют на ваше решение?

Настроение, погода, температура, сон, эмоции и т. Д.… Все эти факторы являются ключевыми элементами в понимании и прогнозировании того, что вы можете хотеть или нуждаться в конкретный момент. Однако они до сих пор никогда полностью не рассматриваются или даже не признаются компаниями и медиа-платформами.

Теперь мы стали алгоритмически представлены на основе сходства, которое мы разделяем с нашими соседями, в дополнение к тому, что мы лишены нашего контекста. Где в этом уникальность?

Как может одна служба заявить, что нашла лучший фильм для меня сегодня вечером, если я знаю, что она не может полностью понять, кто я в данный момент? Этот вопрос возвращает нас к завершению и возвращает нас к персонализации.

Потребность требовать «индивидуальной рекомендации» становится равносильна необходимости ценить и признавать нашу уникальность. Без этого из этих взаимодействий возникают разочаровывающие циклы, создавая такие проблемы, как «пузыри фильтров», которые мешают саморазвитию и исследованиям.

The Scary Stuff: текущие движки рекомендаций НЕ для вас.

Многие механизмы рекомендаций работают в зонах морального риска из-за проблемы основного агента: озабоченные прибылью и зависимостью, они не имеют в глубине души долгосрочных и наилучших интересов пользователя.

Поэтому, покидая эту битву, будучи в мире с посредственностью рекомендательных платформ, которые ежедневно доставляют нам, мы неявно даем свое одобрение. Мы согласны с тем, что «то, что вы [медиа-услуги] создаете и представляете мне, на мгновение удовлетворит мою зависимость от переедания». Цель этих платформ - создавать и продвигать что-то, что удовлетворит массу, а не вас самих.

Не прося лучшего, не возвращая себе идентичность, мы неявно соглашаемся, чтобы нас воспринимали как элемент этой массы, а не как личность.

Но помимо этой моральной проблемы, существует более очевидная причина, по которой механизмы рекомендаций не работают: механизмы рекомендаций предвзяты. Эти алгоритмы НЕ предназначены исключительно для оптимизации контента или услуг для вас. Они созданы, чтобы извлечь из вас максимальную пользу. Например, Netflix перешел на отметку Нравится выше или ниже пятизвездочного рейтинга, потому что не имеет значения, понравился ли он вам или любил его, важно то, какой контент больше всего одобряется нашим сообществом. Facebook и Google являются рекламными платформами, и их рекомендации не для вас, а для того, чтобы зарабатывать на вас деньги.

И последнее, но не менее важное: это намного сложнее, чем обычно думают люди.

За последнее десятилетие мы стали свидетелями огромного прогресса в машинном обучении и приложениях, иногда достигая более высокой, чем у человека, производительности при выполнении определенных задач. Тем не менее, этот прогресс сильно смещен в сторону таких задач, как компьютерное зрение, как видно из графика интереса за десять лет из Google Trends.

Разработать современную модель рекомендаций намного сложнее, чем модели классификации изображений. С одной стороны, это можно объяснить математически. Классификация изображений и подобные задачи очень хорошо вписываются в традиционную структуру машинного обучения. Сбор данных дешев, а оценка модели проста. Системы рекомендаций не являются задачами классификации или регрессии, сбор данных стоит дорого, а их оценка затруднена. Вы можете думать об обучении системы рекомендаций для миллиона пользователей как об обучении миллиона различных классификаторов, где у вас есть только дюжина точек данных на каждый классификатор.

Наборы обучающих данных очень редки. С другой стороны, большинство инструментов создано для плотных наборов данных, таких как изображения. В TensorFlow (самой известной платформе для обучения моделей машинного обучения) первая поддержка обучения на разреженных данных была добавлена ​​только недавно, спустя годы после того, как она стала популярной. Точно так же TensorFlow по-прежнему не обеспечивает реализации наиболее распространенных целевых функций, используемых в рекомендациях.

Если вы инженер по машинному обучению, работающий над рекомендациями, вам придется реализовать их самостоятельно, тогда как все будет построено для вас, если вы будете работать с компьютерным зрением. Как сложность задачи, так и тот факт, что инструментов меньше, для любой команды намного сложнее реализовать достойную систему рекомендаций.

С учетом всех этих соображений я и доктор Эмиль Конталь стали соучредителями Crossing Minds. Мы всю свою карьеру стремились разработать оптимизированные с учетом контекста рекомендательные системы, чтобы предоставлять пользователям наилучшие персонализированные рекомендации в наиболее удобное время. Благодаря фильтрации пользователей, фильтрации элементов, фильтрации содержимого, глубокому обучению и передаче обучения системы рекомендаций, разработанные компанией, стремятся выявить лучшие рекомендации, уникальные для каждого пользователя, а не только для «таких пользователей, как вы». Это обещание компании.

В настоящее время мы открыты для регистрации в нашей программе раннего доступа для hai, наш первый опыт был направлен на предоставление лучших рекомендаций для СМИ, которые вам понравятся, но которые еще не открыты.

Чтобы проверить это, вы можете зарегистрироваться здесь.

Спасибо за чтение!

Первоначально Ответ на Quora Александр Робикке, соучредитель Crossing Minds.