8-я встреча LightOn AI Meetup потрясла! На этот раз с нами выступил Клаудио Галличчио, доцент Пизанского университета, который рассказал о вычислениях для глубокого резервуара и не только. Вы можете посмотреть слайды к его выступлению, пока мы готовим видео встречи для загрузки. Он будет размещен в ближайшее время на Youtube-канале LightOn, подпишитесь, чтобы получать уведомления, и подпишитесь на наш Meetup, чтобы получать уведомления о следующих событиях. Мы снова встречаемся 3 декабря, чтобы обсудить Аппаратную лотерею с Сарой Хукер!

Презентация началась с введения в Reservoir Computing: возьмите нейронную сеть со случайным рекурсивным скрытым слоем и обучите только показания, вуаля! У вас есть резервный компьютер 🛢️, также называемый Echo State Network (ESN). Эти модели намного быстрее и легче обучаются по сравнению с рекуррентными нейронными сетями. Как они работают?

Возможно, вы помните, что не все архитектуры нейронных сетей созданы одинаковыми, некоторые кодируют априорные коды лучше, чем другие: пространство состояний этих моделей группирует вместе входные последовательности с общим суффиксом даже без обучения.

У Echo State Networks есть и другие преимущества, кроме того, что они легче и быстрее. Они позволяют и чистый математический анализ, и нетрадиционную аппаратную реализацию, например в фотонике ⚡ (точно не тенденциозная подборка статей на эту тему 😉 https://arxiv.org/abs/1609.05204, https://arxiv. org/abs/1907.00657, https://arxiv.org/abs/2001.09131).

Итак, каков следующий шаг? Сделайте это глубоко! Когда глубокое обучение встречается с резервуарными вычислениями, рекуррентный компонент становится многоуровневой композицией из нескольких резервуаров.

Глубина позволяет развивать более богатую динамику, даже без обучения повторяющихся связей, и соответствовать нескольким временным масштабам и частотам. Руководство 👨‍🏫👩‍🏫 по разработке Deep ESN: поскольку каждый слой резервуара сокращает часть частотного содержимого, прекращайте добавлять слои, когда фильтрация становится незначительной.

Наконец, Клаудио рассказал о новой захватывающей разработке: вычисления резервуаров для графиков🕸️🧬

Если мы возьмем вершину, вложение в определенном слое задается входом, модулированным случайной матрицей весов, суммированным с вкладом, заданным соседними векторами, модулированными случайной рекурсивной матрицей весов. Вход каждого слоя — это либо метка вершины для первого слоя, либо вложение предыдущего слоя для следующих.

Опять же, архитектуры нейронных сетей с глубокими графами со стабильной динамикой по своей природе могут создавать богатые нейронные вложения для графов даже без обучения.

Вишенка на торте: код Клаудио из Deep Reservoir Computing доступен на Github.

В LightOn мы вычисляем плотные случайные слои буквально со скоростью света. Если вы хотите опробовать свою последнюю идею, вы можете зарегистрироваться в LightOn Cloud или подать заявку на участие в LightOn Cloud for Research Program!

О нас

LightOn — компания, занимающаяся оборудованием, которая разрабатывает новые оптические процессоры, которые значительно ускоряют вычисления машинного обучения. Процессоры LightOn открывают новые горизонты в вычислительной и инженерной областях, которые сталкиваются с вычислительными ограничениями. Заинтересованы в ускорении вычислений? Попробуйте наше решение на LightOn Cloud! 🌈

Подпишитесь на нас в Твиттере по адресу @LightOnIO, подпишитесь на нашу новостную рассылку и/или зарегистрируйтесь для участия в нашей серии семинаров. Мы проводим прямые трансляции, так что вы можете присоединиться из любой точки мира. 🌍

Автор

Якопо Поли, ведущий инженер по машинному обучению в компании LightOn AI Research.

Благодарности

Благодарим Victoire Louis за помощь в организации этой встречи.