В LightOn мы стремимся быть на переднем крае исследований в области машинного обучения. Поэтому мы с удовольствием посетили 37-ю Международную конференцию по машинному обучению ICML 2020!

Организаторы проделали потрясающую работу, превратив это издание в виртуальное и представив множество учебных пособий, документов, семинаров и панелей.

Несмотря на то, что конференция охватывала широкий спектр тем, мы сфокусируем это сообщение в блоге на трех наших любимых статьях, принятых и представленных на ICML 2020. Давайте представим их в произвольном порядке!

# 1 Обучение с использованием вариационной имитации с демонстрациями разного качества

В обучении с подкреплением (RL - который мы исследовали здесь) агент взаимодействует с окружающей средой и предпринимает действия, чтобы максимизировать долгосрочное вознаграждение. Однако не всегда можно четко определить функцию вознаграждения - например, при обучении беспилотного автомобиля. Решением этой проблемы является Imitation Learning (IL): агент имитирует действия, выполняемые экспертами. Но что произойдет, если демонстрации экспертов будут слишком дорогими? Или если у нас действительно нет экспертов (например, можем ли мы действительно найти эксперта по вождению)? Вот Тангкаратт, Бо Хан, Эмти Хан и Масаши Сугияма решают эти проблемы, вводя вариационный ИЖ с методом демонстраций различного качества (VILD) [1].

Их идея состоит в том, чтобы с помощью вариационного подхода обойти сложность оценки качества действий, выбранных «неспециалистами» (см. Рис. 1). Они также оценивают функцию вознаграждения, которую можно использовать для улучшения агента. VILD показывает самые современные результаты тестов. Что еще более важно, он показывает, что IL можно использовать в реалистичных сценариях!

# 2 T-GD: Переносимая среда обнаружения изображений, созданных GAN

Хёнсон Чон, Ёнох Банг, Джуньяуп Ким и Саймон С. Ву [2] решили обратиться к проблеме обнаружения изображений, созданных Generative Adversarial Networks (GAN). В самом деле, эти сети становятся все более и более производительными, генерируя изображения более высокого качества без очевидных закономерностей, и в будущем они могут быть неправильно использованы (см. Рисунок 2).

Они представляют структуру Transferable GAN-Detection (T-GD), в которой модели ученика и учителя итеративно обучают и оценивают друг друга, чтобы улучшить свою успеваемость. Что еще более важно, они используют трансферное обучение (подробнее здесь), чтобы применить знания, уже полученные в исходных наборах данных, к меньшим целевым наборам данных. Их подход не только позволяет достичь самых современных результатов на исходных данных, но и обеспечивает эффективное использование данных благодаря трансфертному обучению.

# 3 Трансформаторы - это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием

Если вы находитесь в Твиттере, вы, вероятно, видели образец возможностей OpenAI GPT-3 [5], например, написание кода React или JSX, или написание как юрист! Дополнительные примеры см. В этой ветке Twitter об опыте использования GPT-3. Эта работа показала, что массовое масштабирование языковых моделей значительно улучшает независимую от задачи производительность и производительность, требующую нескольких выстрелов, но ее обучение на одном облачном инстансе V100 будет стоить более 4,6 миллиона долларов! Центральная проблема - это затраты на память и вычислительные затраты механизма внимания, квадратичные по длине последовательности.

Ангелос Катаропулос, Апурв Вьяс, Николаос Паппас и Франсуа Флёре [6] разработали новую формулировку линейного самовнимания, используя представления функций ядра и свойство ассоциативности матричных произведений, уменьшая сложность с квадратичной до линейной, делая выводы в тысячи раз быстрее . Наконец, они также показывают, что:

[…] любой слой преобразователя с причинным маскированием может быть записан как модель, которая при заданном вводе изменяет внутреннее состояние, а затем прогнозирует вывод, а именно рекуррентную нейронную сеть (RNN).

Отсюда первая часть названия!

Почетные упоминания

С более чем тысячей статей, конечно, невозможно упомянуть всю большую работу, которая была представлена ​​на ICML 2020. Однако мы хотели упомянуть некоторые другие документы, которые привлекли наше внимание:

  • Богацкий А., Андерсон Б., Офферманн Дж. Т., Русси М., Миллер Д. В. и Кондор Р. (2020). Эквивариантная нейронная сеть группы Лоренца для физики элементарных частиц. Хотя эта статья немного сложна с математической стороны, она предлагает интересный путь к физически интерпретируемым моделям машинного обучения.
  • Хви Лин Сим, Р., Чжан, Ю., Киан Сян Лоу, Б., Чун Чан, М. (2020). Совместное машинное обучение с поощрительными моделями . Авторы решают проблему вознаграждения за совместное машинное обучение.
  • Белиловский Э., Эйкенберг М., Ояллон Э. (2020), Развязанное жадное обучение CNN. Он вводит простую схему обучения, которая разделяет обучение каждого слоя в модели с хорошими результатами на сложных наборах данных.
  • Ряли, К., Хопфилд, Дж., Гринберг, Л., Кротов, Д., (2020) Биологическое хеширование для неконтролируемого поиска сходства. Вдохновленные схемой плодовой мушки, авторы разработали биологически правдоподобную схему хеширования для выполнения неконтролируемого поиска сходства.

Мы хотели бы поблагодарить организаторов Международной конференции по машинному обучению 2020 за создание отличной виртуальной версии! Что вы лично запомнили на этой конференции?

О нас

LightOn - компания, занимающаяся аппаратным обеспечением, которая разрабатывает новые оптические процессоры, которые значительно ускоряют вычисления с помощью машинного обучения. Процессоры LightOn открывают новые горизонты в областях вычислений и инженерии, которые сталкиваются с вычислительными ограничениями. Заинтересованы в ускорении вычислений? Попробуйте наше решение на LightOn Cloud! 🌈

Подпишитесь на нас в Twitter на @LightOnIO, подпишитесь на нашу рассылку новостей и / или зарегистрируйтесь в нашей серии семинаров. Мы ведем прямую трансляцию, так что вы можете присоединиться откуда угодно. 🌍

Авторы

Амели Шателен, инженер по машинному обучению в LightOn AI Research, и Iacopo Poli, ведущий инженер по машинному обучению в LightOn AI Research.

использованная литература

[1] Тангкаратт, В., Хан, Б., Хан, М. Э., и Сугияма, М. (2019). VILD: обучение с использованием вариационной имитации с демонстрациями различного качества. Препринт arXiv arXiv: 1909.06769.

[2] Чон, Х., Банг, Ю., Ким, Дж., И Ву, С. (2020). T-GD: Переносимая структура обнаружения изображений, созданных GAN. В Материалы конференции ICML.

[3] Цой, Ю., Цой, М., Ким, М., Ха, Дж. У., Ким, С., и Чу, Дж. (2018). Stargan: Унифицированные генеративные состязательные сети для многодоменного преобразования изображения в изображение. В Труды конференции IEEE по компьютерному зрению и распознаванию образов (стр. 8789–8797).

[4] Чой, Ю., Ух, Ю., Ю, Дж., И Ха, Дж. У. (2020). Stargan v2: Разнообразный синтез изображений для нескольких доменов. В Proceedings of the IEEE / CVF Conference on Computer Vision and Pattern Recognition (pp. 8188–8197).

[5] Браун, Т. Б., Манн, Б., Райдер, Н., Суббиа, М., Каплан, Дж., Дхаривал, П.,… и Агарвал, С. (2020). Языковые модели изучают мало. Препринт arXiv arXiv: 2005.14165.

[6] Катаропулос, А., Вьяс, А., Папас, Н., и Флёре, Ф. (2020). Трансформаторы - это RNN: быстрые авторегрессионные трансформаторы с линейным вниманием. Препринт arXiv arXiv: 2006.16236.