Прошел год с тех пор, как мы запустили нашу лабораторию искусственного интеллекта, чтобы стимулировать и формировать инновации в области искусственного интеллекта. Помимо всего прочего, мы уделяем внимание сообществу, делясь своими работами на ведущих конференциях по машинному обучению.
Вот почему мы были особенно горды тем, что 5 докладов были представлены на конференции ICML в Лонг-Бич, а также семинар, который мы проводили сопредседателями. Этот отбор, являющийся флагманом исследовательской работы, проводимой в Criteo, подчеркивает как качество, так и разнообразие выполненных академических работ. В этой статье суммируются основные выводы, извлеченные из каждой статьи, наслаждайтесь и не стесняйтесь делиться своими комментариями.
Научиться делать ставки на аукционах с максимальным доходом
Томас Неделек, Нуреддин Эль Каруи и Вианни Перше
Одним из ключевых компонентов компьютерной рекламы является участие в торгах, чтобы выиграть рекламные возможности, поскольку большинство размещений в Интернете продается через механизм аукциона. В статье Thomas Nédélec et al. показывает, что можно использовать методы машинного обучения и вариативный подход для изучения оптимальных стратегий назначения ставок в сравнении с любым интеллектуальным механизмом продаж, основанным на данных. Одним из важных аспектов этой работы является сочетание теоретических результатов и экспериментального анализа. Действительно, они сначала определяют цель, которую покупатели должны оптимизировать, когда продавцы также оптимизируют свои стратегии. Их эксперименты дают им возможность поиграть с фреймворком глубокого обучения и пакетами autograd python, чтобы изучить их механизм. Стратегии приводят к очень большим подъемам для покупателей. Что мне действительно нравится в этой статье, так это то, что он не только был принят на одну из лучших конференций по машинному обучению, но и тем, что это создаст ценность для компании.
Использование структуры неопределенности для эффективных матроид-полубандитов
Пьер Перро, Вианни Перше и Михал Валко
И снова компьютерная реклама активно использует теорию бандитов, поскольку она позволяет моделировать взаимодействие между персонализированной рекомендацией и вознаграждением (кликами). В своей работе Вианни Перше и его соавторы обращаются к проблеме повышения эффективности комбинаторных бандитов. Используя субмодульную оптимизацию и базовые инструменты, такие как матроиды, и конкретные знания о структуре вознаграждений, они предлагают алгоритм, который по-прежнему является оптимальным с точки зрения асимптотического сожаления, но при этом эффективен по сравнению с текущим уровнем техники. Эффективность алгоритмов является ключевым фактором в отношении масштаба и сложности данных Criteo, и многие исследования и разработки направлены на то, чтобы сделать технологии быстрыми и гибкими.
Правила отбора лассо с невыпуклыми регуляризаторами
Ален Ракотомамонжи, Жиль Гассо и Жозеф Салмон
В том же контексте разработки быстрых и масштабируемых алгоритмов машинного обучения в сотрудничестве с внешними коллегами я предложил подход, позволяющий сделать невыпуклые решатели лассо более эффективными. Проблема, которую мы рассматриваем, проистекает из компромисса между лучшими статистическими свойствами, вызванными невыпуклыми регуляризаторами в Лассо, и трудностью решения невыпуклой задачи обучения. Мы ввели тест, который может определять бесполезные переменные в модели. Мы можем применить этот тест в любое время в процессе обучения, а затем безопасно удалить эти переменные, не изменяя окончательное решение.
Обобщенная теорема об отсутствии бесплатного обеда для состязательной устойчивости
Элвис Дохматоб
Хотя вышеупомянутые работы могут быть связаны с бизнесом Criteo по назначению ставок и рекомендаций, исследователи Criteo также вносят свой вклад в повышение уровня знаний посредством проектов и исследований, которые создают ценность в долгосрочной перспективе. Таким образом, теоретическая работа Элвиса Дохматоба доказывает, что при мягких условиях распределения данных почти каждый классификатор можно с большой вероятностью обмануть примерами, близкими (в смысле плоского или множественного пространства) к обучающим образцам. Этот результат является достаточно общим, чтобы охватить несколько результатов, доступных в литературе, и демонстрирует недостаточную надежность некоторых классов классификаторов. Это важный результат для безопасного машинного обучения, поскольку мы движемся к будущему, в котором машинное обучение будет играть доминирующую роль в обществе. Тем не менее, поиск путей решения этого вопроса устойчивости все еще открыт, и в Criteo мы очень рады участвовать в этих усилиях.
Справедливое обучение для непрерывных атрибутов и методов лечения
Джереми Мэри, Клеман Калаузен, Нурредин Эль Каруи
Безопасность в машинном обучении также связана с вопросом справедливости при принятии решений на основе алгоритмов. Таким образом, компьютерная реклама может увековечить предубеждения, если с ними не обращаться должным образом. Работа Мэри и др. вводит новую меру (условной) независимости между двумя случайными величинами (результат алгоритма и характеристика, которая принимает непрерывное значение, от которого мы хотим, чтобы результат алгоритма был независим). Соавторы установили связь между рассматриваемой мерой и некоторыми теоретическими результатами, показывающими, что эту меру можно вычислить после SVD-декомпозиции. Однако ради эффективности они также предлагают полностью дифференцируемую аппроксимацию своей меры, что делает ее вычислимой и оптимизируемой от начала до конца в рамках структуры глубокого обучения.
Как компьютерная рекламная компания, можно подумать, что исследования в Criteo в основном сосредоточены на рекомендательных системах. Несмотря на то, что в этом направлении предпринимаются усилия, Criteo может оспорить большое разнообразие исследовательских тем. Вы можете изучать и продвигать современные теоретические вопросы, связанные с бандитами, последовательным принятием решений, теорией игр и аукционов. Поскольку машинное обучение и ИИ предназначены не только для достижения лучших результатов в некоторых задачах, мы также обеспокоены их безопасностью, надежностью и справедливостью, поскольку эти функции необходимы для машинного обучения, развернутого в реальном мире. Статьи, представленные на ICML в этом году, показывают только верхушку исследовательского айсберга Criteo. Мы рады видеть, как приветствуются наши заявки на участие в программе, и с нетерпением ждем серьезных проблем, связанных с различными исследовательскими возможностями в Criteo!
Хотите стать частью приключения? Присоединиться к команде!
Да, еще одна вещь: если вас интересует статистика работ, принятых на ICML, ниже есть хорошая ветка Reddit. tl; dr: Criteo занимает 11-е место в рейтинге ведущих промышленных организаций (например, после Google, Facebook и Microsoft, но опережая Amazon!)
Упс, еще раз: вы можете узнать обо всех обсуждениях ICML на https://slideslive.com/icml
