Эй, как дела, ребята? :-) Я Винченцо Ломонако, аспирант 2-го курса Болонского университета, и сегодня я собираюсь последовать совету и замечательному примеру Натальи Диас Родригес, поделившись своими мыслями о недавнем Международном глубоком исследовании ». Learning Summer School 2017, которая проходила в Бильбао, Испания, с 17 по 21 июля!

Прежде всего, я хотел бы поздравить организаторов, которые сделали это в Европе с меньшим качеством, чем оригинал MILA Летняя школа Deep Leaning, которую в этом году рекламировали немного поздно!

4 курса, работающих параллельно в течение всей недели с 8:00 до 20:00, открытые занятия, производственные занятия и самое главное - более 1300 замечательных людей со всего мира! Все это расположено в красивом городе, таком как Бильбао, с гостеприимными людьми, отличной едой ... и множеством удивительных вещей, которые стоит увидеть!

Но давайте остановимся на главной теме! Было много очень громких спикеров:

Ли Денг, Ричард Земель, Ричард Сохер, Марк'Аурелио Ранзато, Максимилиан Ризенхубер, Джордж Цибенко, Цзянфэн Гао, Майкл Гшвинд, Су-Янг Ли, Ли Эрран Ли, Майкл К. Мозер, Родерик Мюррей-Смит, Герман Ней , Хосе К. Принсипи…

Назову лишь некоторые из них. Взгляните на полный список выступающих, если хотите узнать больше об их выступлениях / лекциях.

Конечно, я не мог следить за всеми выступлениями, и этот пост в любом случае не ставит своей целью быть исчерпывающим всего мероприятия. Я просто хотел бы поделиться несколькими подсказками о том, что я лично больше всего ценил в летней школе.

Что было самым полезным из того, что вы узнали? Я хочу знать, что вы думаете! пожалуйста, прокомментируйте ниже :)

Ли Дэн - «Последние достижения в области неконтролируемого глубокого обучения»

Первым выступлением и основным докладом конференции выступил Ли Дэн, который сейчас работает директором по ИИ в Цитадели. Я считаю, что он великолепный оратор, не считая одного из талантливых исследователей, положивших начало всей волне глубокого обучения. В своем выступлении он сосредоточил внимание на неконтролируемом обучении и способах его достижения, в основном за счет использования внутренних статистических структур ввода и вывода, что в большинстве случаев означает проблема в задаче изучения последовательности.

Эта идея существует уже некоторое время, но элемент настоящей оригинальности присутствует в его недавних работах, в которых он утверждает, что для неконтролируемого обучения могут потребоваться более продвинутые методы оптимизации (чем простой SGD) и, следовательно, более сложные поверхности потерь [1] [2].

Затем он также прочитал серию более простых, но невероятно обогащающих лекций, часто перемежающихся забавными эпизодами и яркими историческими моментами, которые он непосредственно испытал в своей ключевой роли в возрождении нейронных сетей.

Ричард Сохер - «Преодолевая пределы глубокого обучения»

Второй основной доклад и отличный (хотя и удаленный) доклад был от Ричарда Сочера. Мне не нужно объяснять, почему этот молодой и харизматичный парень теперь главный научный сотрудник Salesforce. Его недавний вклад в сообщество по обработке естественного языка был выдающимся за последние несколько лет. В своем выступлении он дал исчерпывающий обзор последних достижений в НЛП, но, что наиболее важно, несколько идей о том, как решать такие важные проблемы, как:

  1. Долговременная память (через Сети динамической памяти).
  2. Контекстуализация представлений вопросов (через Динамические сети совместного внимания).
  3. Сделайте RNN быстрее (с помощью квази-рекуррентных нейронных сетей)
  4. Генерация длинных последовательностей (с помощью глубоко усиленных моделей)
  5. Большая возможность обобщения (через Совместные многозадачные модели)

Но что мне больше всего понравилось, так это его идея использовать Query Answering в качестве всеобъемлющей основы для оценки техник deepNLP, которые, если подумать, могут учесть большинство других подзадачи, связанные с языком, такие как обобщение, генерация предложений, теги POS и т. д.

Марк'Аурелио Ранзато - «Обучающие представления для приложений обработки зрения, речи и текста»

Одна из серий лекций, которые мне больше всего понравились, была от Marc'Aurelio Ranzato, гиганта в сообществе Deep Learning и Computer Vision, а ныне научного сотрудника Facebook FAIR.
Он действительно настоящий. отличный учитель с понятными объяснениями, простыми примерами и полезными советами. Было действительно приятно вернуться с ним к основам и выслушать его советы и рекомендации.

Более того, он был единственным лектором (насколько я знаю), который на самом деле показал несколько практических примеров в PyTorch и интересные демонстрации во время лекций.

Наконец, в своей третьей лекции он остановился на более передовых архитектурах и сложных задачах, связанных с последовательными данными. Мне очень понравилась его способность рационализировать и собрать воедино огромное количество архитектур, видений и подходов в этом контексте!

Максимилиан Ризенхубер - «Глубокое обучение в мозгу»

Ого, ребята, это было действительно важно. Максимилиан Ризенхубер - исключительно умный и талантливый исследователь в области вычислительной нейробиологии, чьи ранние работы с Томмазо Поджио и другими над моделью HMAX были необходим для тех великих достижений в области глубокого обучения, которые мы наблюдаем сегодня.

Его курс был просто захватывающим. Он начал представлять базовую визуальную обработку, которая происходит в мозгу: через иерархии с прямой связью, от простого к сложному. Затем он перешел к более свежим взглядам на то, как устроены глубокие иерархии в мозгу, и нескольким подсказкам о повторном входящем сигнале для обучения и осознанного осознания.
Третья и более интересная лекция была об обучении в различных формах: от предметов до слов, прослушивания и осязания.

Для меня это был отличный источник вдохновения, даже несмотря на то, что кажется, что мы все еще далеки от понимания того, как обучение на самом деле работает внутри мозга.

Действительно, мы довольно разобрались, как необработанные входные сигналы обрабатываются во все более и более абстрактных иерархические представления ... но у нас нет идей о том, как эти иерархии могут быть построены (то есть изучены)!

Дело в том, что при неинвазивных методах, таких как МРТ, fRMI и ЭЭГ, разрешение все еще слишком низкое, чтобы действительно понять этот комплекс, беспорядочная и параллельная машина, такая как мозг (даже несмотря на то, что мы делаем экспоненциальный прогресс в инструментах сканирования мозга).

Ричард Земель - «Учимся понимать изображения и текст»

Свежий новый директор по исследованиям и соучредитель нового Векторного института искусственного интеллекта и профессор компьютерных наук в Университете Торонто Ричард Земель - не тот парень, по которому вы хотите скучать. Его курс был разделен на три основные лекции:

  1. Последние достижения CNN
  2. Несколько выстрелов обучения
  3. Генеративные модели для изображений и текста

Обучение с помощью нескольких снимков - одна из немногих задач, в которых глубокие нейронные сети все еще стремятся конкурировать с людьми. Кажется, что прогресс в этой области идет довольно быстро. Тем не менее, я не считаю, что это серьезная проблема глубокого обучения. Как люди, мы не решаем задачу распознать невиданный ранее объект по единственной его картинке. В большинстве случаев мы используем множество способов ввода, и даже за несколько секунд мы можем собрать тонны информации (около 400 миллиардов бит в секунду).

Третья лекция была довольно интересной. тоже. Он подчеркнул важность прогнозирования контекста для решения неконтролируемого обучения и возможности генерировать контент. Его недавний вклад как в изображения, так и в текст (или в сложных мультимодальных сценариях) просто потрясающий!

Майкл С. Мозер - «Включение смещения домена в нейронные сети»

Несмотря на долгие дни чтения лекций, мне также удалось ознакомиться с лекциями Майкла Мозера, бывшего постдока Хинтона, а теперь профессора факультета компьютерных наук и Института когнитивных наук @ Университет Колорадо в Боулдере, он занимает позицию с очень практическим взглядом на использование глубокого обучения, записывая описание курса:

«Глубокое обучение часто называют общим универсальным решением проблемы искусственного интеллекта. […] Хотя эта фантазия верна в пределах бесконечных данных и бесконечных вычислительных циклов, ограничения на любой из них часто делают обещание глубокого обучения пустым. Альтернативой для преодоления ограничений данных и вычислений является адаптация моделей к характеристикам предметной области ».

Несмотря на то, что я больше мечтаю о 10-летнем будущем, я вижу его точку зрения, особенно в отношении практических внедрений и реальных корпоративных решений. Более того, он подробно рассказывает о том, как на самом деле включить различные формы знаний предметной области в модель с помощью ее представлений, архитектуры, функции потерь и преобразования данных (или, почему бы и нет, их комбинации!).

Он также рассказал о своей недавней работе над новым типом рекуррентных нейронных сетей (Discrete-Event Рекуррентные сети с непрерывным временем ), которые могут включать также время событий (а не только их последовательность). Оказывается, подача времени, в которое произошло событие, вместе с фактическим вводом в LSTM может обеспечить такую ​​же точность (смеется). Тем не менее, мне очень понравился его подход, который, кажется, также является способом, которым люди обрабатывают воспоминания о прошлых событиях (в некоторой степени [4] [5]).

Георгий Цибенко - «Глубокое изучение поведения»

К сожалению, у меня не было времени вместить лекции Цибенко в свой плотный график. Тем не менее, у меня была возможность увидеть, как Ли Дэн подталкивал его рассказать о своей знаменитой « Теореме универсального приближения » (это было очень весело, лол), которая, по словам того же Ли, может быть из основных причин, по которым глубина в нейронных сетях не особо изучалась еще в 80-х годах, что привело к существенной задержке бурного развития глубокого обучения.

Когда толкнули еще сильнее Чтобы понять, почему глубокие модели работают лучше, чем поверхностные, он как настоящий математик сказал, что ему стало скучно вскоре после года, проведенного на этой демонстрации, и он внезапно пошел в другом направлении. С тех пор он прямо сказал, он не особо задумывается об этом!

Открытая и производственная сессия

В течение недели я вскоре понял, что большая часть людей, посещающих школу, была из Промышленности. Было потрясающе видеть такое участие и соприкасаться со многими промышленными реалиями.

Мне, как аспиранту, также было очень приятно иметь возможность выступить перед таким количеством людей, которые рассказывают о нашем последнем исследовании CORe50, новом наборе данных и тесте для непрерывного распознавания объектов. Взгляните на него, если хотите узнать больше о моей исследовательской деятельности! :-)

Заключительные замечания

Во время моего пребывания у меня также была возможность познакомиться со многими людьми со всего мира, разделяющими мою страсть к глубокому обучению и искусственному интеллекту. Я так рад быть частью этой огромной семьи умных людей, раздвигающих границы машин и человеческого интеллекта! :-)

Если вы хотите связаться или просто узнать обо мне больше, посетите мой сайт vincenzolomonaco.com или оставьте комментарий ниже! :-)