Обзор третьего дня NeurIPS

На конференциях всегда работаешь на пределе возможностей, но азарт и любопытство не останавливают. Но иногда усталость говорит о вас лучше всего. Со мной это произошло на третий день конференции. Тем не менее, день был таким же захватывающим, как и первые два дня. Стоит упомянуть два очень хороших приглашенных доклада, хорошие устные доклады и обзоры, а постерная сессия продолжает удивлять меня широтой и глубиной исследования.

Первым приглашенным выступлением выступил Блез Агуэра о социальном интеллекте. Идея проста: несколько учеников учатся одновременно, иногда сотрудничая, иногда соревнуясь, а иногда умирая. Примером здесь является колония бактерий. Но самым известным примером Social Intelligence являются, конечно же, GAN, где генератор и дискриминатор конкурируют друг с другом, при этом оба обучаются. Несмотря на то, что люди используют градиентный спуск для обучения, все население этого не делает. Блейз предположил, что, возможно, обучение по Хеббу может быть методом обучения населения.

Второй приглашенный доклад был сделан знаменитым Йошуа Бенджио «От глубокого обучения системы 1 к глубокому обучению системы 2». Он имеет в виду терминологию знаменитой книги Дэниела Канемана «Думай быстро и медленно». Мышление Системы 1 интуитивно понятно, быстро и не может быть объяснено словами. Мышление Системы 2 является сознательным, медленным и преднамеренным. Аргумент состоит в том, что современный ИИ хорош в Системе 1, но не так хорош в Системе 2. Не знаю, согласен ли я с этим, потому что большая часть «традиционной» науки о данных работает именно над проблемами, которые чрезвычайно долго для людей, чтобы вычислить. Возвращаясь к сути, аргумент Йошуа заключается в том, что мы должны начать переходить на Систему 2. Это не то же самое, что символический ИИ, но вместо этого он должен основываться на фундаменте глубокого обучения, который так хорошо работает для нас. Стоит упомянуть пять вещей:

  • Изменения в раздаче. Это правда. ИИ будущего должен быть в состоянии справиться с этим. Это также включает в себя избегание перетасовки данных и попытку использовать естественную последовательность примеров.
  • Механизм внимания будет очень важен.
  • Априоры сознания и причинность.
  • Метаобучение
  • Наборы.

Что касается приглашенных докладов, прожекторов и плакатов, то меня удивил новый интерес к модели Изинга в области обучения представлению графов. Модель Изинга хорошо подходит для социальных графов, и, возможно, в этом причина. Первый — «Разреженная логистическая регрессия изучает все дискретные попарные графические модели», а второй — «Быстрая сходимость распространения убеждений к глобальной оптимальности: за пределами распада корреляции». Оба метода применимы не только к сетям убеждений и алгоритму распространения убеждений, но и к широкой категории алгоритмов передачи сообщений, что делает их полезными для самых разных алгоритмов обучения графов. Ниже приведены некоторые другие плакаты, которые привлекли мое внимание.

Я буду продолжать публиковать новые материалы об этой конференции. Быть в курсе!