- На пути к пониманию феномена переобучения моделей прогнозирования рейтинга кликабельности(arXiv)
Автор:Чжао-Ю Чжан, Сян-Ронг Шэн, Юцзин Чжан, Бие Цзян, Шугуан Хань, Хунбо Дэн, Бо Чжэн
Аннотация:методы глубокого обучения широко применяются в промышленных рекомендательных системах. Однако гораздо меньше внимания уделялось проблеме переобучения моделей в рекомендательных системах, которая, напротив, признается критической проблемой для глубоких нейронных сетей. В контексте предсказания рейтинга кликов (CTR) мы наблюдаем интересную проблему переобучения для одной эпохи: производительность модели резко ухудшается в начале второй эпохи. Такое явление широко наблюдалось в реальных приложениях моделей CTR. Таким образом, наилучшие результаты обычно достигаются при обучении только одной эпохе. Чтобы понять основные факторы, лежащие в основе феномена одной эпохи, мы проводим обширные эксперименты с набором производственных данных, собранным из системы медийной рекламы Alibaba. Результаты показывают, что структура модели, алгоритм оптимизации с высокой скоростью сходимости и разреженность признаков тесно связаны с феноменом одной эпохи. Мы также предлагаем вероятную гипотезу для объяснения такого явления и проводим серию экспериментов для подтверждения концепции. Мы надеемся, что эта работа прольет свет на будущие исследования по обучению большего количества эпох для повышения производительности.
2.Онлайн-метаобучение для агрегирования обновлений модели в федеративном обучении для прогнозирования рейтинга кликов(arXiv)
Автор:Сянхан Лю, Бартломей Твардовский, Три Курниаван Виджая
Аннотация. В рамках федеративного обучения (FL) предсказания рейтинга кликов (CTR) данные пользователей не передаются для защиты конфиденциальности. Обучение выполняется путем локального обучения на клиентских устройствах и передачи на сервер только изменений модели. Есть две основные проблемы: (i) неоднородность клиентов, из-за которой алгоритмы FL, использующие взвешенное усреднение для агрегирования обновлений моделей от клиентов, имеют медленный прогресс и неудовлетворительные результаты обучения; и (ii) сложность настройки скорости обучения сервера методом проб и ошибок из-за большого времени вычислений и ресурсов, необходимых для каждого эксперимента. Чтобы решить эти проблемы, мы предлагаем простой онлайн-метод метаобучения для изучения стратегии агрегирования обновлений модели, который адаптивно взвешивает важность клиентов на основе их атрибутов и корректирует размер шага обновления. Мы проводим обширные оценки общедоступных наборов данных. Наш метод значительно превосходит современные как по скорости сходимости, так и по качеству конечных результатов обучения.
3.AMinerGNN: нейронная сеть с гетерогенным графом для прогнозирования кликабельности статей с помощью Fusion Query(arXiv)
Автор:Цэпэн Хуай, Чжэ Ван, Ифань Чжу, Пэн Чжан
Аннотация . Рекомендация статей с ключевым словом, созданным пользователем, состоит в том, чтобы предложить статьи, которые одновременно отвечают интересам пользователя и релевантны введенному ключевому слову. Это рекомендательная задача с двумя запросами, также известными как идентификатор пользователя и ключевое слово. Однако существующие методы ориентированы на рекомендацию по одному запросу, также известному как идентификатор пользователя, и неприменимы для решения этой задачи. В этой статье мы предлагаем новую модель прогнозирования рейтинга кликов (CTR) с гетерогенной графовой нейронной сетью под названием AMinerGNN, чтобы рекомендовать статьи с двумя запросами. В частности, AMinerGNN строит разнородный граф, чтобы проецировать пользователя, статью и ключевое слово в одно и то же пространство встраивания путем изучения представления графа. Для обработки двух запросов разработан новый уровень объединения запросов, который динамически распознает их важность, а затем объединяет их в один запрос для создания унифицированной сквозной системы рекомендаций. Экспериментальные результаты на предложенном нами наборе данных и онлайн-тесты A/B доказывают превосходство AMinerGNN.
