Расширение нейронных сетей в нейроморфных вычислениях

Расширение нейронных сетей в нейроморфных вычислениях

В течение последних 50 лет люди использовали традиционные вычислительные методы. Традиционные вычисления помогли человечеству увеличить производительность труда и промышленности и автоматизировать множество скучных вещей. Но с увеличением рабочих нагрузок ИИ в повседневной жизни традиционные методы вычислений видят ограничения в правильном выполнении этих задач. Этими ограничениями являются узкие места фон Неймана, энергопотребление, плохая оптимизация рабочих нагрузок ИИ и интенсивная выборка данных из ЦП в основную память. Чтобы решить эти проблемы, традиционные методы придумали распределенные системы и параллельные вычисления. Эти методы помогли в некоторой степени уменьшить ограничения, но не внесли кардинальных изменений в традиционные методы вычислений. У нас все еще есть один самый эффективный конкурент этим традиционным методам: наш человеческий мозг.

Вдохновленные человеческим мозгом, ученые начали заново изобретать полный стек вычислений и назвали его нейроморфными вычислениями. Нейроморфные вычисления бросают вызов традиционным методам вычислений и пытаются устранить узкие места фон Неймана, потребляют меньше энергии, оптимизируют рабочие нагрузки ИИ на аппаратном и программном уровнях и черпают вдохновение из человеческого мозга для дальнейшего развития. Нейроморфные вычисления используют мемристоры вместо транзисторов, они используют распределенные блоки памяти с АЛУ и блоками управления, используют асинхронные конструкции, связь на основе пиков, обучение на кристалле, без чисел с плавающей запятой, без единиц умножения и накопления.

До сих пор вы, должно быть, задавались вопросом, какое место в нейроморфных вычислениях занимают пиковые нейронные сети. На стороне алгоритмической разработки нейроморфных вычислений основное внимание уделяется модели разреженной сверточной нейронной сети, новой стратегии обучения, обеспечивающей надежность сжатых моделей для рабочих нагрузок ИИ. Все эти требования выполняются Spiking Neural Networks. SNN помогают снизить затраты на обучение и повысить надежность за счет снижения энергии логического вывода за счет вычислений на основе импульсов, управляемых событиями.

SNN — это третье поколение нейронных сетей. Нейронные сети первого поколения просты и основаны на логических и арифметических функциях. Они используют ступенчатую функцию в качестве функции активации. Они использовались для простых логических функций и генерировали двоичные значения. Второе поколение нейронных сетей — это модели на основе персептрона с многослойной топологией. В качестве функций активации они используют сигмовидные или гиперболические функции. Третье поколение нейронных сетей — Spiking Neural Networks. Они учитывают временные интервалы на картинке помимо данных и всплесков. Они работают на модуляции пиковых частот и таймингов. Это увеличивает количество информации, передаваемой в единицу времени. Всплески не запускаются в каждом цикле распространения, и SNN могут работать с синхронизированной или асинхронной обработкой информации.

Сравнение ANN с SNN:

После всех этих дискуссий о SNN следует задаться вопросом, как смоделировать и спроектировать SNN. Модель Leaky Integrate-and-Fire (LIF) является наиболее популярной и реализуемой на компьютере моделью. Модель нейрона Leaky Integrate-and-Fire (LIF) представляет собой комбинацию конденсатора и «дырявого» резистора, соединенных параллельно. Источник тока в качестве входа синаптического тока применяется для зарядки конденсатора для создания потенциала. Фильтр нижних частот преобразует входящий импульс, который означает пресинаптический потенциал действия, исходящий от другого нейрона, в импульс тока i(t), который поступает в постсинаптический нейрон. После этого переключатель, управляемый напряжением, используется для разрядки конденсатора до потенциала покоя, подобного биологическому нейрону, когда потенциал превышает пороговое значение. Фильтр нижних частот представляет синапс. Пресинаптические и постсинаптические нейроны будут общаться через этот синапс. Результирующий импульс тока начинает заряжать цепь LIF и увеличивает мембранный потенциал u(t). Спайк запускается нейроном в определенное время, т. е. всякий раз, когда мембранный потенциал достигает определенного порогового значения.

В разработке SNN есть четыре шага измерения:

Но мы всегда должны спрашивать, в чем преимущества SNN помимо вычислительной эффективности. SNN и нейроморфные вычисления обеспечивают в 1000 раз более высокую эффективность, в 100 раз более высокую скорость и требуют в 50 раз меньше денег без какой-либо потери точности по сравнению с традиционными методами вычислений. SNN очень энергоэффективны по сравнению с традиционными алгоритмами глубокого обучения. Они используют энергию только тогда, когда возникает всплеск, вносят большую разреженность в сетевую архитектуру и используют локальную память для хранения параметров в ЦП. Все это приводит к энергоэффективности SNN. SNN в 100 раз эффективнее, чем лучшая рекуррентная ANN, и в 1000 раз эффективнее, чем LSTM. Процессор Loihi от Intel Labs — новейшее нейроморфное оборудование. В зависимости от размера задачи они обнаружили, что Loihi в 2,58, 8,08 или 48,74 раза более энергоэффективен, чем процессор Atom с частотой 1,67 ГГц. IBM TrueNorth может выполнять 46 миллиардов операций в секунду (SOPS) на ватт по сравнению с самым энергоэффективным суперкомпьютером, производящим 4,5 миллиарда операций с плавающей запятой (операций с плавающей запятой в секунду) на ватт.

Будущее SNN остается неясным, поскольку до сих пор ни один из обучающих алгоритмов не дал многообещающих результатов. Они являются естественными преемниками наших нынешних нейронных сетей, но они весьма далеки от того, чтобы быть практическими инструментами для большинства задач. В настоящее время существует несколько реальных приложений SNN для обработки изображений и аудио в реальном времени, но литература по практическим применениям остается скудной. Тем не менее, многие исследовательские группы работают над разработкой правил обучения под наблюдением SNN, и я по-прежнему с оптимизмом смотрю в будущее SNN.

Ссылки:

Исследования Соувика Кунду, научного сотрудника Intel AI Labs, США. Персональный сайт: https://ksouvik52.github.io/

М. Дэвис и др., «Loihi: нейроморфный многоядерный процессор с обучением на кристалле», в IEEE Micro, vol. 38, нет. 1, стр. 82–99, январь/февраль 2018 г., doi: 10.1109/MM.2018.112130359

Инь Б., Корради Ф. и Боте С. М. (2020). Эффективные и действенные вычисления с рекуррентными нейронными сетями с несколькими временными масштабами. arXiv, doi: 10.48550/arXiv.2005.11633

Панда, П., Акети, А., и Рой, К. (2019). На пути к масштабируемым, эффективным и точным нейронным сетям с глубокими шипами с обратными остаточными связями, стохастическим Softmax и гибридизацией. arXiv, doi: 10.48550/arXiv.1910.13931

Дж. фон Нейман, Компьютер и мозг (Yale Univ. Press, New Haven, CT, 1958).

BOHTE Сандер М., К.О.К. Йост Н., Специальный выпуск о приложениях импульсных нейронных сетей, Письма об обработке информации. 2005 г., том 95, номер 6, 82 стр.

Встроенные приложения искусственного интеллекта. Тематическое исследование по земному покрову и классификации землепользования. Материалы семинаров конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR), 2021 г., стр. 2020–2030 

Добавление нейронных сетей, следующее поколение машинного обучения, Девин Сони, Medium in Towards Data Science.