Обзор NeurIPS 2019

33-я ежегодная конференция Нейронные системы обработки информации (NeurIPS) прошла в Ванкуверском конференц-центре в Ванкувере, Британская Колумбия, Канада, с 8 по 14 декабря 2019 года.

NeurIPS считается самой престижной конференцией в области искусственного интеллекта (ИИ). За годы работы сложилась традиция собирать под одной крышей специалистов в области искусственного интеллекта и машинного обучения (ML) со всего мира. В результате он превратился в место, где вводятся новые разделы AI/ML и публикуются нестандартные идеи. Те, кто посетил конференцию в этом году, сочли ее завораживающей как с точки зрения получения знаний, так и с точки зрения людей. NeurIPS’19 стал свидетелем беспрецедентного роста по сравнению с прошлыми годами практически по всем показателям — рекордные 6743 заявки, 1428 принятых статей (из которых 36 устных + 164 прожектора), более 13000 регистраций, 4543 рецензента, 51 семинар и 9 учебных пособий. Более подробный отчет о различной статистике можно найти в следующих блогах NeurIPS 2019 Stats и «NeurIPS 2019 | Числа".

В качестве шага к тому, чтобы сделать всю конференцию доступной для всех во всем мире, плакаты/слайды/видео, связанные со всеми принятыми докладами, доступны онлайн через веб-сайт конференции, помимо онлайн-протоколов. Также в онлайн-режиме доступны прямые трансляции и записи всех выступлений во время конференции.

Темы

В расписании NeurIPS в этом году было несколько интересных тем, начиная от тем традиционного искусственного интеллекта и заканчивая нейробиологией. Большое количество статей было сосредоточено на объяснимых моделях и ответах на вопросы (особенно в контексте изображений), мультимодальном обучении (изображения + текст) и рассуждениях. Другие известные темы включают в себя проблемы бандитов, обучение с подкреплением, нейросимволическое обучение, обучение представлению, представление графа, хардкорную оптимизацию, статистическую теорию обучения, метаобучение, обучение несколькими выстрелами и понимание BERT. В дополнение к традиционным темам нейронауки особое внимание было уделено перекрестному использованию достижений традиционного ИИ и нейробиологии на благо друг друга. Также состоялись интересные дискуссии на тему «самоанализ в исследованиях машинного обучения» с особым акцентом на этике публикации, открытости, доступности и улучшении процесса рецензирования. Растет беспокойство по поводу того, что многие авторы рассматривают публикации просто как способ улучшить свой профессиональный профиль и перейти к адаптации проектов публикаций для максимального признания, а не для справедливой и правдивой демонстрации результатов и достижений для достижения цели научного прогресса.

Ключевые доклады

Одним из ярких моментов NeurIPS’19 стала приглашенная лекция Йошуа Бенжио, которая привлекла наибольшее количество участников. Вдохновением для его выступления послужила знаменитая книга Думай, быстро и медленно за авторством нобелевского лауреата Даниэля Канемана, в которой описываются два разных режима работы человеческого мыслительного процесса — Система 1, быстрая, инстинктивная и эмоциональная, и Система 1. 2, который медленнее, более взвешенный и логичный». Поднятый вопрос (который, конечно, широко известен и многими считается важным) заключается в том, что текущая технология глубокого обучения хороша для Системы 1, но ее следует развивать, чтобы больше использовать Систему 2. Текущая тенденция в области глубокого обучения заключается в том, чтобы увеличить размер сети (как в глубину, так и в ширину), который, вероятно, не приведет нас к Системе 2 человеческого мозга. Решение такого рода задач должно включать в себя предоставление машинам возможности рассуждать, планировать, разрабатывать алгоритмы, писать программы и т. д. Еще одним важным докладом в этом году была Селеста Кидд, которая получила бурные аплодисменты за то, что рассказала об интеграции в сообщество машинного обучения.

Другие интересные приглашенные доклады включают доклад Блеза Агера-и-Аркаса об альтернативных подходах к общему интеллекту и Кафуи Дзирасы о пространственно-временной динамике локальных полевых потенциалов в мозге, которые предсказывают появление поведенческих дисфункций.

Награды

На конференции было много докладов, которые нам показались интересными. Одно из них, которое привлекло наше внимание, — Положить конец сквозному: градиентно-изолированное изучение представлений. Эта статья получила почетную награду в категории Выдающаяся работа в новых направлениях. Идея здесь состоит в том, чтобы разделить глубокую нейронную сеть на сложенные градиентно-изолированные модули, где каждый модуль обучается локально, тем самым устраняя необходимость сквозного обратного распространения глобального сигнала ошибки — сдвиг парадигмы от традиционного подхода к обучению. глубокие сети!

Награды, присужденные в этом году на выставке NeurIPS, включают: награда за выдающуюся работу за Независимое от распространения PAC-обучение полупространств с помощью шума Массарта и награду за выдающуюся работу в новых направлениях за Униформа. конвергенция может быть не в состоянии объяснить обобщение в глубоком обучении». Награда за испытание временем была присуждена за Метод двойного усреднения для регуляризованного стохастического обучения и онлайн-оптимизации.

Мастерские

По окончании конференции было организовано много интересных мастер-классов, часть из которых была направлена ​​на проработку деталей футуристической повестки. Одним из таких семинаров, который привлек наше внимание, является Взаимодействие и язык, основанные на визуальном восприятии (ViGIL). Общая тема семинара была Как заставить машины учиться так же, как люди? Люди приобретают свои знания и понимание языка, взаимодействуя с окружающей их средой. Таким образом, машинам также необходимо каким-то образом обосновывать свое понимание символов (например, слов на любом языке) с помощью, скажем, изображений или видео. Этот семинар также касался того, как машина может представлять мирское понятие так, как это делают человеческие младенцы, просто взглянув на объект один или два раза (так называемое однократное обучение). Еще один интересный семинар — Контекст и композиционность в биологических и искусственных нейронных системах, посвященный тому, как добиться лучшего понимания языка в искусственных системах за счет более глубокого понимания того, как композиция, контекст и мультивременной масштаб представлены в биологических аналогах.

Демонстрации

Демонстрационные сессии NeurIPS’19 проводились параллельно с вечерними постерными сессиями в дни 1 и 2 основной конференции. Всего было представлено 28 демонстраций. Некоторые из демонстраций, которые привлекли наше внимание, включают exBERT: инструмент визуального анализа для объяснения изученных представлений BERT и Расчесывание волос с помощью робота. Стенд IBM привлек множество участников интересной демонстрацией Пароль: совместная игра в угадывание слов между человеком и агентом ИИ.

Социальные сети и встречи

Помимо сессий конференции, по вечерам в дни конференции было организовано множество интересных общественных мероприятий, дающих возможность участникам общаться и общаться. Кроме того, whova — мобильное приложение, — разработанное специально для участников конференции, позволило расширить сеть контактов и упростило динамическое группирование участников с особыми интересами для встреч.

Отрасли@NeurIPS’19

Учитывая большое влияние, которое отрасли оказывают на область ИИ, где NeurIPS считается ведущей конференцией, большое промышленное присутствие наблюдается во многих аспектах конференции, начиная от спонсорства, демонстраций, принятых статей, учебных пособий и организованных семинаров. Фактически, первый день конференции был запланирован как Industry Expo, где представители промышленности могли продемонстрировать свою работу и продукцию. Кроме того, на протяжении всей основной конференции были выставочные стенды для различных отраслей, включая многие популярные бренды, включая Amazon, Apple, Disney Research, Facebook, Google, IBM, Microsoft, Sony AI и Uber. Кроме того, на этот раз активное участие приняли несколько финансовых фирм. Благодаря возможности встретиться лицом к лицу с некоторыми из лучших талантов со всего мира, NeurIPS’19 стала благодатной почвой для удовлетворения потребностей отрасли в найме, и на протяжении всей конференции проходило множество интервью.

IBM@NeurIPS’19

IBM Research активно участвовала в NeurIPS’19, насчитывая более 100 участников. Исследователи IBM представили 106 докладов на всех сессиях, в том числе 35 статей только на обычных сессиях. На отраслевом выставочном стенде № 111 компания IBM Research продемонстрировала некоторые из своих захватывающих разработок в области новых технологий. IBM также провела много интервью на протяжении всей конференции с кандидатами, заинтересованными в исследованиях и стажировках.

Исследовательская лаборатория IBM в Индии (IRL)@NeurIPS’19

IBM India Research Lab добилась немалого присутствия на NeurIPS’19, представив одну полную исследовательскую работу, пять докладов на семинарах и множество участников.

Команда IRL представила полную исследовательскую работу по идее внедрения знаний на основе квантовых технологий. Этот документ был очень хорошо принят, привлек внимание нескольких участников и получил высокую оценку как новое направление среди подходов к внедрению базы знаний. Большинство посетителей нашей афиши были впечатлены принципиальным подходом, который мы изобрели для встраивания знаний. Некоторые из них спрашивали о том, как расширить эту работу для более высоких отношений арности и более выразительных логических форм. Сразу после конференции эта статья дебютировала в следующих публичных блогах:

Мы также получили благодарственные письма и запросы от доктора философии. студентам и исследователям по всему миру для дальнейшего развития этого направления работы.

Документы семинара, представленные командой IRL, включают:

Все эти документы были хорошо приняты и вызвали большой интерес. Кроме того, IRL также присутствовала на семинаре WiML (Женщины в машинном обучении), поскольку разнообразие и инклюзивность высоко ценятся в IBM.

В целом, для всей команды IRL участие в NeurIPS’19 было завораживающим. Наша команда считает, что исследователи IRL уже работают над некоторыми важными темами, которые были засвидетельствованы на конференции, включая ответы на вопросы, рассуждение, нейросимволические модели, мультимодальное обучение, объяснимые модели и т. д. Тем не менее, некоторые темы, которые IRL хотели бы инвестировать больше в ближайшие годы, включая обучение с графическим представлением, обучение с подкреплением, метаобучение, обоснованное понимание языков, обучение с несколькими выстрелами, трансферное обучение, синтез программ и т. д.

Авторы

Автором этого обзора является

  • Динеш Гарг, научный сотрудник, IBM Research, Бангалор
  • Шаджит Икбал, научный сотрудник, IBM Research, Бангалор
  • Джассимран Каур, штатный инженер-исследователь, IBM Research, Бангалор