Сеть внимания с двойным гетерогенным графом для повышения производительности длинного хвоста для поиска в магазине в…

Загрузите технический документ Обнаружение облачных знаний в документах KDD, чтобы ознакомиться с 12 документами KDD и знаниями от 12 экспертов Alibaba.

Сичуань Ню, Бофан Ли, Ченлян Ли, Ронг Сяо, Хаочуань Сунь, Хунбо Дэн, Чжэньчжун Чен

Задний план

Поиск по магазинам — важная услуга, предоставляемая Taobao, крупнейшей в Китае платформой электронной коммерции. В настоящее время на Taobao около 10 миллионов магазинов, в том числе несколько миллионов активных в течение 7 дней. Сценарий поиска в магазине регистрирует десятки миллионов пользовательских просмотров (UV) в день и сотни миллионов GVM.

Вы можете щелкнуть вкладку, показанную на следующем рисунке, чтобы использовать функцию поиска магазина Taobao в клиенте для ПК или мобильном клиенте.

На платформе Taobao подавляющее большинство обращений приходится на запросы, товары или магазины, которые часто ищут, и это приводит к длинным хвостам. На следующем рисунке показаны взаимосвязи между частотами поиска запросов и магазинов и их рангами. Ось Y показывает количество ежедневных просмотров страниц запросов (QPV) или просмотров страниц магазинов (SPV), а ось X показывает ранги запросов или магазинов.

Мы создаем сеть внимания с двойным гетерогенным графом (DHGAN) для запросов с длинным хвостом и магазинов с длинным хвостом, которые очень релевантны запросу. DHGAN разработан для внимательного изучения разнородных и однородных соседей запросов и магазинов, чтобы улучшить векторизованное представление самих себя, что может помочь уменьшить явление длинного хвоста.

Интуиция

Почему разнородная информация может улучшить производительность длинного хвоста? Мы нашли следующие примеры во время обучения и прогнозирования.

На предыдущем рисунке запрос и целевой магазин, которые ищут пользователи, не встречаются в обучающих данных одновременно, и их семантика не связана. Однако их можно связать с помощью вложений query-item и item-shop.

Это более сложный пример. Запрос и целевой магазин на предыдущем рисунке не встречаются в обучающих данных одновременно, но их можно связать с помощью разнородной информации.

В предыдущих примерах базовая линия NCF сама по себе не приведет к успешному прогнозированию, но модель DHGAN, описанная далее, приведет к успеху.

Неоднородное построение графа

Мы объединяем узлы запроса, магазина и элемента сценариев поиска магазина, чтобы сформировать разнородные ребра.

Например, отношение запрос2запрос соединяется с запросом в том же магазине, а отношение магазин2элемент соединяется с товаром в магазине. На следующем рисунке показаны подробные данные. В частности, столбец ребер показывает общее количество разнородных ребер, а столбец взвешенных ребер показывает общее количество разнородных ребер после дедупликации на уровне агрегата.

Условия

Гетерогенный граф. Структура графа с несколькими типами узлов и несколькими отношениями ребер. Аналогом гетерогенного графа является однородный граф, который содержит только один тип узлов и ребер.

Графовая нейронная сеть (GNN): категория алгоритмов, которые применяют нейронные сети к нерегулярным структурам графа. GNN в основном применяются для изучения семантического вектора для узла графа, а затем применяют представление изученного узла к последующим задачам, таким как классификация узлов и предсказание ссылок.

Механизм внимания:вычислительная система, которая имитирует человеческое внимание и широко используется в обработке естественного языка и компьютерном зрении. Основная цель механизмов внимания состоит в том, чтобы выбрать информацию, которая более важна для текущих целей задачи, из огромного количества информации.

Обзор модели

Мы предлагаем DHGAN для решения проблемы длинного хвоста. Модель сначала строит сеть гетерогенного графа на основе журналов поведения пользователей при поиске магазинов и поиске предметов, а затем анализирует и использует однородные и гетерогенные соседи запросов или магазинов в гетерогенном графе. Модель использует этих соседей для улучшения векторного представления запросов и магазинов, а затем переносит знания и данные при поиске товаров, чтобы преодолеть семантический разрыв текста между поисковыми запросами пользователей и названиями магазинов с помощью заголовков товаров. Наконец, модель вводит пользовательские характеристики для персонализации результатов поиска.

Детали модели

Общая структура

Общая структура модели представляет собой архитектуру с двумя башнями, как показано на следующем рисунке.

Входными данными в левой части являются пользователи и запросы, в том числе однородные и разнородные соседи, а также информация после названий проданных товаров в поиске товаров. Модули DHGAN и передачи знаний из продуктового поиска (TKPS) объединяют данные в один вектор. (Для получения дополнительной информации см. следующий раздел.) Входы с правой стороны — это магазины. Подобно информации запроса, модули DHGAN и TKPS объединяют информацию о магазине в один вектор. Наконец, корреляция измеряется внутренним произведением векторов на вершине архитектуры с двумя башнями и служит основой для присвоения весов отзывам магазинов.

Модуль ДХГАН

Модуль DHGAN использует разнородных и однородных соседей запросов и магазинов для улучшения векторизованного представления самих себя, как показано на предыдущем рисунке.

Возьмем в качестве примера пользовательский запрос. Сначала мы извлекаем его однородные соседи (соседи по запросу) и разнородные соседи (соседи по магазину). Затем мы используем графы уровня Attention Net, действующие на два типа соседей, для объединения информации. Первый слой Attention Net соответственно объединяет однородную и разнородную информацию. В частности, однородная информация напрямую объединяется сетью внимания, а разнородная информация обрабатывается матрицей преобразования гетерогенных соседей (HNTM), которая отображает запрос в векторное пространство магазина. Второй уровень Attention Net дополнительно объединяет однородную и разнородную информацию, чтобы в конечном итоге улучшить векторизованное представление за счет использования как однородных, так и разнородных соседей. Attention Net графов слоев, действующих на магазины, точно такая же, как и на запросы, за исключением того, что их сетевые параметры различны.

Модуль ТКПС

Как показано на предыдущем рисунке, мы берем пользовательский запрос в качестве примера и сначала переносим знания в поиске элементов. То есть мы используем заголовки соседних элементов при поиске элементов на основе того же запроса, а затем векторизуем текст целевого запроса и заголовок соседних элементов. Векторизованное представление получается с помощью операции объединения. Наконец, мы агрегируем заголовок соседей элемента, объединяем его с запросом и преобразовываем его, чтобы получить расширенное текстовое векторизованное представление запроса. В случае магазина мы используем текстовую информацию о товаре в магазине, чтобы улучшить текстовое векторизованное представление магазина.

Определение убытка

Базовые потери нашей модели представляют собой традиционную перекрестную энтропию и определяются следующим образом.

Интуитивно понятно, что соседние узлы запроса и магазина должны быть похожи на запрос и магазин. Следовательно, в дополнение к перекрестной энтропии мы также определили потерю близости к соседям, как показано в следующей формуле.

где h_i — текущий узел, h_j — соседний узел h_i, который действует как положительный образец, а h_k — случайно выбранный узел и действует как отрицательный образец.

Окончательная потеря модели является результатом двух значений потерь после регуляризации. Штрафы контролируются параметрами α и λ соответственно.

Автономный прогноз

Автономное построение набора данных

Чтобы продемонстрировать преимущество модели DHGAN в оптимизации длинных запросов и магазинов, мы создали два специальных набора данных, а именно жесткий набор данных и набор данных с длинным хвостом, в дополнение к тестированию всех тестовых данных. Жесткий набор данных содержит пары запрос-магазин, которые не появляются в обучающих данных, а набор данных с длинным хвостом содержит запросы и магазины, которые появляются только один раз в обучающем наборе данных. На следующем рисунке показана подробная статистика набора данных. Столбец взаимодействий указывает количество положительных записей в обучающих и тестовых данных, столбцы запросов, магазинов, элементов и пользователей указывают количество соответствующих записей данных в обучающих и тестовых данных. Обратите внимание, что данные элементов не использовались во время теста, чтобы избежать проблем с обходом функций.

Общая производительность

Мы использовали 11 типов базовых показателей для сравнения и протестировали версии DHGAN с добавлением персонализированной информации (DHGAN_{NP}) и без нее. Окончательные результаты следующие.

Можно видеть, что модель DHGAN отмечает улучшение на 1% по показателям во всех тестах и ​​улучшение от 4% до 8% по показателям жестких моделей и моделей с длинным хвостом, которые сосредоточены на оптимизации.

Эксперимент по слиянию

На следующем рисунке w/o homo означает удаление данных query2query и shop2shop, w/o здесь означает удаление данных query2shop и shop2query, а w/o item означает удаление данных query2item и shop2item. Как видно из рисунков, различные типы разнородной информации повышают производительность модели, а информация о разнородных элементах фиксирует наиболее заметное улучшение.

Гиперпараметрический анализ

Мы также проанализировали количество соседей и вес потерь α. Как показано на следующем рисунке, эти два параметра необходимо настроить для обеспечения наилучшей производительности. Окончательное количество соседей модели установлено равным 6, а значение α равно 0,001.

Резюме

Напоминание о поиске в магазине на Taobao усложняется из-за проблем с длинным хвостом и семантическим пробелом. Чтобы решить эти проблемы, мы дополнили семантику модели DHGAN в сценариях поиска в магазине, чтобы повысить производительность. В настоящее время пользовательская сторона модели содержит только информацию профиля. В будущем мы добавим в модель разнородную информацию, такую ​​как пользовательский элемент и пользовательский магазин, чтобы повысить ее производительность.

Мнения, выраженные здесь, приведены только для справки и не обязательно отражают официальную точку зрения Alibaba Cloud.

Оригинальный источник: