1. Экономичные по площади и мощности нейронные и синаптические схемы на основе КМОП для аналоговых импульсных нейронных сетей во временной области (arXiv)

Автор:Сяню Чен, Такеаки Ядзима, Хисаши Иноуэ, Исао Х. Иноуэ, Золбу Бьямбадорж, Тэцуя Иидзука

Аннотация:Обычные нейронные структуры, как правило, взаимодействуют через аналоговые величины, такие как токи или напряжения, однако по мере того, как КМОП-устройства уменьшаются, а напряжения питания уменьшаются, динамический диапазон аналоговых цепей в области напряжения/тока сужается, доступный запас становится меньше, а помехоустойчивость снижается. Более того, использование операционных усилителей (операционных усилителей) и тактовых или асинхронных компараторов в обычных конструкциях приводит к высокому энергопотреблению и большой площади кристалла, что может нанести ущерб построению нейронных сетей с выбросами. В связи с этим мы предлагаем нейронную структуру для генерации и передачи сигналов во временной области, включающую модуль нейрона, модуль синапса и два весовых модуля. Предлагаемая нейронная структура управляется токами утечки в области транзисторного триода и не использует операционные усилители и компараторы, что обеспечивает более высокую эффективность по энергии и площади по сравнению с обычными конструкциями. Кроме того, конструкция обеспечивает большую помехозащищенность за счет внутренней связи посредством сигналов временной области, что упрощает проводку между модулями. Предлагаемая нейронная структура изготовлена ​​с использованием КМОП-технологии TSMC 65 нм. Предлагаемые нейрон и синапс занимают площадь 127 мкм2 и 231 мкм2 соответственно, при этом достигаются миллисекундные временные константы. Фактические измерения чипа показывают, что предложенная структура успешно реализует функцию передачи временных сигналов с миллисекундными постоянными времени, что является важным шагом на пути к аппаратным вычислениям резервуара для взаимодействия человека с компьютером.

2. Увеличение масштаба обучения динамическому представлению графов с помощью нейронных сетей (arXiv)

Автор: Цзинтан Ли, Чжоусинь Юй, Зулун Чжу, Лян Чен, Ци Юй, Цзибин Чжэн, Шэн Тянь, Руофань Ву, Чанхуа Мэн

Аннотация. В последние годы наблюдается всплеск исследований в области обучения представлению динамических графов, целью которых является моделирование временных графов, которые динамичны и постоянно развиваются во времени. Однако текущая работа обычно моделирует динамику графа с помощью рекуррентных нейронных сетей (RNN), из-за чего они серьезно страдают от накладных расходов на вычисления и память на больших временных графах. До сих пор масштабируемость обучения представлению динамического графа на больших временных графах остается одной из основных проблем. В этой статье мы представляем масштабируемую структуру, а именно SpikeNet, для эффективного захвата временных и структурных паттернов временных графов. Мы изучаем новое направление, в котором мы можем фиксировать развивающуюся динамику временных графиков с помощью импульсных нейронных сетей (SNN) вместо RNN. В качестве альтернативы RNN с низким энергопотреблением SNN явно моделируют динамику графа как последовательности спайков популяций нейронов и обеспечивают эффективное распространение на основе спайков. Эксперименты с тремя большими наборами данных временного графа реального мира показывают, что SpikeNet превосходит сильные базовые показатели в задаче классификации временных узлов с меньшими вычислительными затратами. В частности, SpikeNet обобщается до большого временного графа (2 млн узлов и 13 млн ребер) со значительно меньшим количеством параметров и накладных расходов на вычисления. Наш код общедоступен по адресу https://github.com/EdisonLeeeee/SpikeNet.

3. Автокорреляции возникающей бистабильности в гомеостатических импульсных нейронных сетях на нейроморфном оборудовании (arXiv)

Автор: Бенджамин Крамер, Маркус Крефт, Себастьян Бийодель, Виталий Карасенко, Арон Лейбфрид, Эрик Мюллер, Филипп Спилгер, Йоханнес Вейс, Йоханнес Шеммель, Мигель А. Муньос, Виола Приземанн, Йоханнес Циренберг

Аннотация: Уникальная особенность нейроморфных вычислений заключается в том, что память является неявной частью обработки следов прошлой информации в коллективной динамике системы. Степень памяти о прошлых входных данных обычно количественно определяется временем автокорреляции коллективной динамики. Основываясь на прошлых экспериментальных данных, потенциальным объяснением лежащих в основе автокорреляций являются колебания, близкие к критическим. Здесь мы показываем для самоорганизующихся сетей возбуждающих и тормозных негерметичных нейронов интеграции и активации, что автокорреляции могут возникать из-за возникающей бистабильности при уменьшении силы внешнего воздействия. Мы идентифицируем бистабильность как индуцированное флуктуациями стохастическое переключение между метастабильным активным и покоящимся состояниями вблизи неравновесного фазового перехода. Эта бистабильность возникает для сетей с фиксированными гетерогенными весами как следствие гомеостатической самоорганизации в процессе развития. В частности, в наших экспериментах с нейроморфным оборудованием и в компьютерном моделировании возникающая бистабильность приводит к времени автокорреляции, превышающему 500 мс, несмотря на то, что временная шкала одного нейрона составляет всего 20 мс. Наши результаты обеспечивают первую проверку биологически совместимых времен автокорреляции в сетях нейронов с дырявой интеграцией и активацией, которые здесь генерируются не близкими к критическим флуктуациями, а возникающей бистабильностью в гомеостатически регулируемых сетях. Таким образом, наши результаты представляют собой новый, дополнительный механизм возникновения автокорреляций в сетях спайковых нейронов с последствиями для биологических и искусственных сетей, а также вводят общую парадигму бистабильности, вызванной флуктуациями, для управляемых систем с поглощающими состояниями.