Автор Ник Спирин, к.э.н.
В разделе Как технологии персонализации используются в Интернете мы увидели восемь примеров персонализации в действии, но что движет этим опытом?
Давайте немного попрактикуемся и рассмотрим пример задачи, цель которой состоит в том, чтобы составить персонализированные рекомендации по взаимодействию с клиентами для продавцов, набросав алгоритм механизма рекомендаций.
Представьте, что есть шесть продавцов и четыре клиента, и каждый клиент работает с несколькими продавцами. Основываясь на исторических данных о бронировании, мы знаем, какой доход получил каждый продавец от каждого клиента. Однако для некоторых возможных комбинаций клиентов и продавцов такой информации нет. Цель состоит в том, чтобы предсказать, сколько каждый продавец может заработать при бронировании с каждым клиентом, и правильно распределить клиентов между продавцами. Информация может быть представлена в визуальной форме в матрице продаж, как показано ниже.
Мы можем заметить, что, например, Алисса работала с Google, Capgemini и ExxonMobil и заработала 500 000, 400 000 и 400 000 долларов соответственно. Однако данных по Алиссе и Стейплсу нет. Давайте спрогнозируем потенциальный доход, используя основные идеи, которые обычно используются при создании систем рекомендаций, персонализации и сопоставления.
Во-первых, давайте рассмотрим сходство. Основываясь на исторических данных бронирования, можно отметить, что Майк и Брэндон больше похожи на Алиссу, чем на других продавцов. Мы пришли к такому выводу, вычислив «расстояние» между известными бронированиями, сгенерированными Алиссой, на основе известных бронирований, сгенерированных каждым продавцом.
Например, «расстояние» между Алиссой и Брэндоном составляет 200 000 долларов, потому что:
- Алисса и Брэндон работали в Google и ExxonMobil (мы пропускаем клиентов, у которых нет информации хотя бы об одном из продавцов).
- И Алисса, и Брэндон получили от Google 500 000 долларов, и, следовательно, с этой точки зрения они одинаковы. Другими словами, Google не увеличивает «расстояние».
- Алисса заработала 400 000 долларов на ExxonMobil, а Брэндон - всего 200 000 долларов. В этом случае разница составляет 200 000 долларов.
- Затем мы суммируем всех клиентов, разделенных между Алиссой и Брэндоном, и получаем 0 + 200 000 долларов = 200 000 долларов на общее «расстояние».
То же самое упражнение для Майка дает нам 0 долларов, и, судя по имеющимся данным, Майк больше всего похож на Алиссу. Цифры для других продавцов оставлены в качестве упражнения для читателей, жаждущих арифметики.
Для полноты картины стоит упомянуть, что «расстояние» можно определить по-разному. Здесь мы использовали наиболее простой подход, основанный на попарной разнице. В действительности системы рекомендаций используют сложные математические нормы, такие как евклидовы, манхэттенские или супремум-нормы, и оптимизируют их в зависимости от приложения и целевой функции.
А пока мы можем взять Майка, так как он больше всего похож на Алиссу. Однако в этом случае мы будем оценивать бронирование Алиссы для Staples только на основе заказов Майка. Вероятно, лучшая стратегия - использовать несколько продавцов. Давайте для примера остановимся на N = 2. На самом деле N (количество соседей) - это настраиваемый параметр алгоритма, настроенного с помощью машинного обучения.
Используя данные о бронировании Майка и Брэндона и считая их равнозначными, прогноз для (Алисса, Стейплз) будет равен 400 000 долларов США = ½ (500 000 долларов США + 300 000 долларов США).
Однако, как мы отметили выше, Майк больше похож на Алиссу, чем на Брэндона. Давайте воспользуемся этим пониманием и рассмотрим прошлые бронирования Майка как более важные. Мы можем установить вес Майка равным 1, а вес Брэндона - ½. В этом случае прогноз для Алиссы будет примерно 433000 долларов ~ = 1 / 1,5 * (1 * 500000 долларов + 0,5 * 300000 долларов).
Здесь мы проиллюстрировали еще одну мощную идею, обычно используемую в решениях персонализации / релевантности - взвешенное голосование. В первом случае вес каждого кандидата был одинаковым, во втором случае вес Майка был выше, чем у Брэндона, и уменьшался обратно пропорционально положению продавца при сортировке по «расстоянию». На практике весовая функция - это еще еще один параметр, который необходимо оптимизировать с помощью машинного обучения.
Выше мы рассмотрели только самые основные идеи, лежащие в основе современных систем рекомендаций. Тем не менее, мы надеемся, что теперь вы понимаете основную философию, которая заключается в том, чтобы «предсказать значение для пары (объект1, объект2), мы находим несколько объектов, похожих на объект1, смотрим на доступные значения для объекта2 среди все объекты-кандидаты и вычислить взвешенную оценку сходства ». Параметры этих и более сложных алгоритмов настраиваются с помощью машинного обучения.
Быстрые поставки решений для персонализации
В Gigster мы абстрагируемся и упаковываем основные концепции математического моделирования (например, описанные выше) в компоненты ИИ, которые можно эффективно склеивать вместе для быстрой доставки решений ИИ клиентам, оставляя место для включения настраиваемой логики. Решение для персонализации может включать в себя базовые (ближайший сосед) и расширенные (матричная и тензорная факторизация с разреженной регуляризацией) алгоритмы, обучение и развертывание инфраструктуры ИИ с помощью машинного обучения и рабочие процессы приема данных. См. Пример ниже.
Компоненты искусственного интеллекта, размещенные в наших фреймворках, представляют собой надежные, многократно используемые стартовые решения корпоративного уровня, которые поставляются с хорошими частями корпоративного продукта SaaS (например, поддержка, обучение, обновления), но не заставляют клиентов Gigster придерживаться определенного поставщика, поскольку мы поделитесь исходным кодом. Что наиболее важно, инфраструктуры компонентов ИИ позволяют сократить время вывода продукта на рынок и окупаемость.
Если вы считаете, что вам может потребоваться решение для персонализации и сопоставления в вашей организации, свяжитесь с нашей командой AI, и мы с радостью назначим вам звонок, чтобы обсудить это.
об авторе
Ник Спирин - директор по искусственному интеллекту в компании Gigster, где он разрабатывает решения на основе искусственного интеллекта для решения сложных проблем с данными для наших клиентов и создает механизмы искусственного интеллекта, которые используются в интеллектуальной платформе доставки программного обеспечения Gigster. Он имеет докторскую степень. Имеет степень бакалавра компьютерных наук Университета Иллинойса в Урбане-Шампейне с упором на машинное обучение, поиск и персонализацию. Его исследовательский и консультационный опыт включает:
- Персонализация поиска по графику на основе поиска пользователей и истории просмотров для поиска по графику в Facebook
- Изменение рейтинга результатов поиска для электронной коммерции с учетом релевантности (см. Amazon)
- Сопредседатель серии конференций Premier ACM CIKM, организовал семинар по науке о данных о персонализированном поиске в электронной коммерции.
- Рекомендации по глубокому обучению для Intel
- Продукт, инфраструктура рыночной аналитики для Jibo (Топ-25 инноваций 2017 года)
- Консультации по веб и социальной защите от спама для поиска Яндекса, Mail.ru Group
С ним можно связаться в Твиттере.