Основные моменты NeurIPS 2019
Пока заканчивается курортный сезон и начинается новый год, мы оглядываемся назад на невероятный 2019 год и на все удивительные вещи, которые произошли, и те, которые мы совершили. Среди прочего, в декабре прошлого года мы вернулись в NeurIPS, и нам не терпится поделиться всеми интересными вещами, которые мы там увидели. В этом году конференция проходила во впечатляющем конференц-центре Ванкувера, который собрал более десяти тысяч исследователей и практиков, собравшихся на ежегодное назначение ведущей конференции по исследованиям в области машинного обучения. Масштаб конференции стал поразительным: было подано более шести тысяч заявок, из которых почти 1500 были приняты для представления на конференции. Проверьте полную статистику здесь:
Ключевые выводы
Несколько исследователей и инженеров Criteo посетили конференцию в Ванкувере, чтобы представить наши исследования и узнать о тенденциях в этой области. Конференция представила несколько инноваций в различных областях машинного обучения, включая алгоритмы обучения, глубокое обучение, многозадачность и трансферное обучение, мета-обучение и теорию игр.
Одной из главных тем конференции было сравнение и взаимодействие между моделями машинного обучения, такими как глубокие нейронные сети и биологический мозг. Многие из приглашенных докладчиков выдвигали аргумент, что искусственные нейронные сети должны иметь возможность учиться больше, чем их естественные аналоги. Йошуа Бенжио описал это как взаимодействие между Системой 1 (интуитивно понятное, быстрое, бессознательное) и Системой 2 (медленное, логическое, сознательное) и то, как глубокое обучение должно переходить от одной к другой. Блез Агера-и-Аркас сосредоточился на стратегиях метаобучения и эволюции как на жизнеспособном пути к действительно общему интеллекту. В лейтмотиве Как узнать Селесты Кидд рассказывалось, как люди узнают то, что они знают. Поскольку информация, с которой мы сталкиваемся, огромна, она задается вопросом, как люди ориентируются в этом большом объеме информации и как их решения влияют на их знания и будущие убеждения. В частности, автор продемонстрировал доказательства того, что люди играют активную роль в собственном процессе обучения, от младенчества до взрослой жизни. Мы узнали, почему нам интересны предметы, но не другие, и как наш прошлый жизненный опыт формирует наши будущие интересы. В этом выступлении автор предложил 5 основных человеческих вкладов / способов мышления, которые должен знать практик ML:
- люди постоянно формируют убеждения
- уверенность снижает интерес
- уверенность основана на обратной связи
- меньшая обратная связь может способствовать самоуверенности
- люди быстро формируют убеждения.
И, конечно же, было поразительное и открывающее глаза выступление Селесты Кидд о женщинах в STEM. Невозможно сказать более элегантно. Просто посмотри:
Еще одним интересным дополнением к репертуару этого года стал чрезвычайно успешный семинар по изменению климата. На этом семинаре и на протяжении всей конференции прозвучал настоятельный призыв к сокращению углеродного следа наших обученных моделей, что подчеркивает, как сообщество развивает чувствительность к такого рода вопросам, выходящим за рамки традиционного машинного обучения и приложений.
Лучшие статьи
Что касается докладов, представленных на конференции, наибольшее внимание в этом году привлекли темы оптимизации, причинно-следственной связи и обучения с подкреплением - три области, над которыми исследователи Criteo активно работают. Вот обзор четырех статей, которые, по нашему мнению, были одними из самых влиятельных.
1. Быстрые и точные решатели методом наименьших средних квадратов
Одна из лучших бумажных наград, Быстрые и точные решатели наименьших квадратов Алаа Маалуфа, Ибрагима Джубрана и Дэна Фельдмана, посвящена разработке эффективного решателя наименьших средних квадратов (LMS) для данного случая. когда количество образцов намного превышает количество измерений. Он сочетает в себе несколько основных идей о структуре ковариационной матрицы и теоремы Каратеодори, чтобы получить разделение пространства признаков таким образом, чтобы сделать вычисления LMS эффективными. Эмпирический тест линейной и гребенчатой регрессии scikit-learn (на основе стандартных решателей Cython LMS) очень убедителен. Просто, элегантно, эффективно.
2. Равномерная конвергенция не может объяснить обобщение в глубоком обучении.
Еще одна многообещающая работа, получившая награду, была Вайшнавом Нагараджаном и Дж. Зико Колтером Единая конвергенция, возможно, не может объяснить обобщение в глубоком обучении. Здесь авторы подчеркивают несогласованность некоторых прошлых границ ошибок, касающихся частоты ошибок глубокого обучения. Они объясняют, что единые границы обобщения, основанные на сходимости, не могут уловить поведение глубоких нейронных сетей. Несмотря на чрезмерную параметризацию, эти модели, кажется, ускользают от ранее предложенных границ ошибок, которые могут увеличиваться при увеличении набора данных. Некоторые константы, зависящие от набора данных, скрыты в константах внутри современных границ ошибок.
3. Точная выборка детерминантных точечных процессов с предварительной обработкой сублинейного времени.
Вопрос об эффективной выборке из Determinantal Point Process (DPP) имеет решающее значение для использования DPP в реальных сценариях. В своей статье Точная выборка детерминантных точечных процессов с сублинейной предварительной обработкой времени Михал Дерезински, Даниэле Каландриелло и Михал Валко предлагают эффективную и точную стратегию извлечения k-выборок из набора {1,…, n }, которые требуют только этапа предварительной обработки • poly (k) и стоимости выборки poly (k). Их алгоритм DPP-VFX (для сэмплера Very Fast и eXact DPP) имеет двухэтапную стратегию выборки, основанную на 1) шаге регуляризованного DPP с пониженной дискретизацией и 2) регулярной выборке DPP из подвыборки, полученной на шаге 1. С умным использование связей между DPP, (регуляризованной) оценкой плеча гребня и приближением Нистрома, они могут теоретически утверждать эффективность DPP-VFX, что иллюстрируется убедительными численными моделированиями на крупномасштабных задачах (см. статью, код доступен) . Это элегантный и важный шаг вперед на пути к использованию DPP в практических приложениях.
4. Шаг к количественной оценке независимо воспроизводимых исследований в области машинного обучения
Наконец, еще одна очень важная тема, которая была подчеркнута, но еще не исследована вдумчиво, - это проблема воспроизводимости численных экспериментов. Эдвард Рафф, старший научный сотрудник Booz Allen Hamilton, исследовал этот вопрос в своей статье под названием Шаг к количественной оценке независимо воспроизводимых исследований машинного обучения. Автор потратил шесть месяцев, пытаясь воспроизвести результаты 255 статей, опубликованных в период с 1984 по 2017 год, из сообщества машинного обучения. Основное предположение заключалось в том, что результаты должны быть полностью воспроизводимыми, начиная с деталей, содержащихся в документе. Следовательно, цель заключалась не в том, чтобы скомпилировать / выполнить код, предоставленный авторами, а скорее в том, чтобы заново реализовать подходы, основанные на описании, представленном в статье. Всего ему удалось воспроизвести результаты 162 работ, что составляет 63,5% от отобранных работ. По словам Раффа, с точки зрения воспроизводимости, наиболее важной характеристикой является количество информации, которую авторы смогли передать при первом прочтении статьи. Автор резюмирует это как «читабельность».
Читаемость: «сколько прочтений статьи потребовалось, чтобы получить в основном полную реализацию».
«Как и ожидалось, чем меньше попыток прочитать статью, тем больше шансов ее воспроизвести», - Рафф.
Огромное спасибо спикерам, авторам и исследователям за то, что они поделились своей работой с сообществом. Со своей стороны, приняв 5 работ, мы очень гордились возможностью представить то, над чем нам понравилось работать в прошлом году. Более подробная информация будет в нашей следующей статье, а пока обзор можно найти здесь ⬇
Будьте на связи!
авторы: Паоло Драгоне, Лива Ралайвола, Матье Мартен, Клеман Калаузен.
