В LightOn мы регулярно организуем встречи, чтобы собрать исследователей и инженеров машинного обучения по интересующим их темам. Наши встречи проходят онлайн, чтобы обеспечить безопасность участников до дальнейшего уведомления!

На нашей последней встрече у нас были Шарлотта Френкель, научный сотрудник Института нейроинформатики, UZH и ETH в Цюрихе, Швейцария, и Мартин Лефевбре, ассистент преподавателя и аспирант Института информации и Коммуникационные технологии, электроника и прикладная математика », Католический университет Лувена в Бельгии.

В своей презентации Обучение без обратной связи: фиксированные случайные обучающие сигналы позволяют обучать глубокие нейронные сети с прямой связью, они представили алгоритм Direct Random Target Projection, без переноса веса , обновление разблокировано эволюция согласования обратной связи.

Проблема переноса веса связана с биологической неправдоподобностью того, что существует идеальная симметрия между прямым и обратным весом. Методы согласования обратной связи решают эту проблему за счет использования различных обратных путей и весов. Разблокирование обновления позволяет вычислить обновление слоя сразу после его выполнения, не дожидаясь завершения прямого прохода или сигнала градиента от вышележащих слоев. Это качество оказывает очевидное влияние на время обучения.

Идея DRTP (рисунок 1) заключается в том, что мы можем вычислить синтетический градиент, исходя из случайной проекции целевого вектора. Дикий, правда? Показав с помощью нескольких простых экспериментов, что информации, предоставленной знаком вектора ошибки, достаточно для обучения, DRTP исходит из понимания того, что для классификации знак ошибки известен заранее, поэтому нам больше не нужен путь обратной связи!

В заключение Шарлотта и Мартин указали на статью по нейробиологии, показывающую механизмы, подобные DRTP в мозгу, и на работу Шарлотты над схемной реализацией DRTP с рекордно низкой площадью кристалла и затратами энергии для обучения на кристалле на периферии!

Посмотрите слайды выступления! Вы также можете посмотреть видео презентации.

Подпишитесь на нашу встречу, чтобы получать уведомления о следующих мероприятиях, впереди еще много интересных вещей!

В LightOn мы вычисляем плотные случайные проекции буквально со скоростью света. Если вы хотите опробовать эти алгоритмы или новую идею, вы можете зарегистрироваться в LightOn Cloud или подать заявку в LightOn Cloud for Research Program!

О нас

LightOn - компания, занимающаяся аппаратным обеспечением, которая разрабатывает новые оптические процессоры, которые значительно ускоряют вычисления с помощью машинного обучения. Процессоры LightOn открывают новые горизонты в областях вычислений и инженерии, которые сталкиваются с вычислительными ограничениями. Заинтересованы в ускорении вычислений? Попробуйте наше решение на LightOn Cloud! 🌈

Подпишитесь на нас в Твиттере на @LightOnIO, подпишитесь на нашу рассылку новостей и / или зарегистрируйтесь в нашей серии семинаров. Мы ведем прямую трансляцию, так что вы можете присоединиться откуда угодно. 🌍

Автор

Якопо Поли, ведущий инженер по машинному обучению в LightOn AI Research.

Благодарности

Мы хотели бы поблагодарить Виктуар Луи за большую часть усилий по организации встречи.