- Изучение причинно-следственной структуры с помощью системы рекомендаций(arXiv)
Автор:Шуюань Сюй, Да Сюй, Эврен Корпеоглу, Сушант Кумар, Стивен Го, Каннан Ачан, Юнфэн Чжан
Аннотация. Фундаментальной задачей рекомендательных систем (RS) является понимание причинно-следственной динамики, лежащей в основе принятия решений пользователями. Большая часть существующей литературы решает эту проблему, используя причинно-следственные структуры, выведенные из знаний предметной области. Однако существует множество явлений, для которых знаний предметной области недостаточно, и причинно-следственные механизмы необходимо изучать из данных обратной связи. Обнаружение причинно-следственного механизма на основе данных обратной связи RS является одновременно новым и сложным, поскольку сам RS является источником вмешательства, которое может влиять как на воздействие пользователей, так и на их готовность взаимодействовать. Также по этой причине большинство существующих решений становятся неподходящими, так как требуют данных, собранных бесплатно с любых ТС. В этой статье мы сначала формулируем лежащий в основе причинно-следственный механизм как причинно-структурную модель и описываем общую структуру обучения причинно-следственной структуре, основанную на реальном рабочем механизме RS. Суть нашего подхода заключается в признании неизвестной природы вмешательства РС. Затем мы получаем цель обучения из нашей структуры и предлагаем расширенный лагранжев решатель для эффективной оптимизации. Мы проводим как симуляционные, так и реальные эксперименты, чтобы продемонстрировать преимущества нашего подхода по сравнению с существующими решениями, вместе с эмпирическим анализом исследований чувствительности и абляции.
2. Merlin HugeCTR: обучение и вывод системы рекомендаций с ускорением на GPU(arXiv)
Автор:Джоуи Ван, Инкан Вэй, Минсок Ли, Маттиас Лангер, Фан Ю, Дже Лю, Алекс Лю, Даниэль Абель, Gems Guo, Jianbing Dong, Jerry Shi, Kunlun Li
Аннотация: в этом докладе мы представляем Merlin HugeCTR. Merlin HugeCTR — это платформа интеграции с открытым исходным кодом и ускорением на графическом процессоре для оценки рейтинга кликов. Он оптимизирует как обучение, так и логические выводы, обеспечивая при этом обучение модели в масштабе с помощью параллельных моделей и нейронных сетей, параллельных данным. В частности, Merlin HugeCTR сочетает в себе высокопроизводительный встроенный кэш графического процессора с иерархической архитектурой хранения, чтобы реализовать поиск внедрений с малой задержкой для задач вывода онлайн-моделей. В тесте обучения модели MLPerf v1.0 DLRM Merlin HugeCTR достигает ускорения до 24,6x на одном DGX A100 (8x A100) по сравнению с PyTorch на 4x4-процессорных узлах (4x4x28 ядер). Merlin HugeCTR также может использовать многоузловые среды для еще большего ускорения обучения. С конца 2021 года Merlin HugeCTR дополнительно включает сервер иерархических параметров (HPS) и поддерживает развертывание через серверную структуру NVIDIA Triton, чтобы использовать вычислительные возможности графических процессоров для высокоскоростного вывода модели рекомендаций. Используя этот HPS, пользователи Merlin HugeCTR могут добиться ускорения в 5–62 раза (в зависимости от размера пакета) для популярных моделей рекомендаций по сравнению с базовыми реализациями ЦП и значительно сократить задержку сквозного логического вывода.
3.Об утечке информации о поведении пользователей из-за воздействия системы рекомендаций(arXiv)
Автор:Синь Синь, Цзиюань Ян, Ханьбин Ван, Цзюнь Ма, Пэнцзе Жэнь, Хэнлян Луо, Синьлей Ши, Чжуминь Чен, Чжаочунь Рен
Аннотация. Современные рекомендательные системы обучены прогнозировать потенциальное взаимодействие пользователей в будущем на основе исторических данных о поведении пользователей. В процессе взаимодействия, несмотря на данные, поступающие со стороны пользователя, рекомендательные системы также генерируют данные о воздействии, чтобы предоставить пользователям персонализированные доски рекомендаций. По сравнению с разреженными данными о поведении пользователей объем данных о воздействии системы намного больше, поскольку пользователь будет щелкать лишь очень небольшое количество открытых элементов. Кроме того, исторические данные о поведении пользователей являются конфиденциальными и обычно защищены тщательной авторизацией доступа. Однако большому объему данных о воздействии рекомендателей обычно уделяется меньше внимания, и к ним можно получить доступ в рамках относительно большего круга различных искателей информации. В этой статье мы исследуем проблему утечки поведения пользователей в рекомендательных системах. Мы показываем, что данные о прошлом поведении пользователя, чувствительные к конфиденциальности, могут быть получены путем моделирования воздействия системы. Кроме того, можно сделать вывод, какие элементы щелкнул пользователь, просто из наблюдения за текущей экспозицией системы для этого пользователя. Учитывая тот факт, что данные о воздействии системы могут быть широко доступны из относительно большего объема, мы считаем, что конфиденциальность прошлого поведения пользователя имеет высокий риск утечки в рекомендательных системах. Точнее, мы реализуем модель атаки, в которой входными данными является текущий рекомендуемый список элементов (т. е. доступность системы) для пользователя, а выходными данными — историческое поведение пользователя. Экспериментальные результаты на двух реальных наборах данных указывают на большую опасность утечки информации о поведении пользователей. Чтобы устранить риск, мы предлагаем двухэтапный механизм защиты конфиденциальности, который сначала выбирает подмножество элементов из списка подверженных риску, а затем заменяет выбранные элементы однородным или основанным на популярности раскрытием. Экспериментальная оценка показывает эффект компромисса между точностью рекомендации и риском раскрытия конфиденциальности.
