- Оптимизация нейронной сети, управляемой событиями, с регуляризацией и отсечкой (arXiv)
Автор: Дэньюй Ву, Гаоцзе Цзинь, Хань Юй, Синьпин И, Сяовэй Хуан.
Аннотация: Импульсные нейронные сети (SNN), вариант искусственных нейронных сетей (ANN) с преимуществом в энергоэффективности, достигли точности, близкой к своим аналогам ANN, на эталонных наборах данных, таких как CIFAR10/100 и ImageNet. Однако по сравнению с вводом на основе кадров (например, изображений), ввод на основе событий, например, от датчика динамического зрения (DVS), может лучше использовать SNN благодаря асинхронному рабочему механизму SNN. В этой статье мы укрепляем союз между SNN и входными данными, основанными на событиях, предлагая рассмотреть SNN с оптимальным выводом в любое время или AOI-SNN, которые могут прекратиться в любое время во время вывода для достижения оптимального результата вывода. Представлены два новых метода оптимизации для достижения AOI-SNN: регуляризация и отсечка. Регуляризация позволяет обучать и создавать SNN с оптимизированной производительностью, а метод отсечения оптимизирует вывод SNN на входных данных, управляемых событиями. Мы проводим обширный набор экспериментов с несколькими эталонными наборами данных на основе событий, включая CIFAR10-DVS, N-Caltech101 и DVS128 Gesture. Экспериментальные результаты показывают, что наши методы превосходят современные в отношении точности и задержки.
2. Многокомпонентное нейронное и популяционное кодирование улучшенной нейронной сети Spiking для глубокого распределенного обучения с подкреплением (arXiv)
Автор: Иньцянь Сунь, И Цзэн, Фейфэй Чжао, Чжуоя Чжао.
Аннотация: Вдохновленные обработкой информации с помощью бинарных спайков в мозгу, спайковые нейронные сети (SNN) демонстрируют значительное низкое потребление энергии и больше подходят для включения многомасштабных биологических характеристик. Спайковые нейроны, как основная единица обработки информации SNN, часто упрощаются в большинстве SNN, которые рассматривают только точечные нейроны LIF и не принимают во внимание многокомпонентные структурные свойства биологических нейронов. Это ограничивает вычислительные и обучающие возможности SNN. В этой статье мы предложили алгоритм глубокого распределенного обучения с подкреплением на основе SNN, основанный на мозге, с комбинацией модели многокомпонентных нейронов (MCN), вдохновленной биологическими методами, и метода кодирования населения. Предлагаемый многокомпартментный нейрон построил структуру и функцию апикального дендритного, базального дендритного и соматического вычислительных компартментов для достижения вычислительной мощности, близкой к вычислительной мощности биологических нейронов. Кроме того, мы представляем неявный метод дробного встраивания, основанный на кодировании популяции нейронов. Мы протестировали нашу модель на играх Atari, и результаты эксперимента показывают, что производительность нашей модели превосходит базовую модель FQF на основе ANN и модели Spiking-FQF на основе метода преобразования ANN-SNN. Эксперименты по абляции показывают, что предложенная нейронная модель с несколькими отсеками и неявное представление всплесков популяции квантильной доли играют важную роль в реализации глубокого распределенного обучения с подкреплением на основе SNN.
