1. MT-SNN: нейронная сеть с шипами, которая позволяет выполнять несколько задач одновременно (arXiv)

Автор:Паоло Г. Качи, Себастьян Вентура, Кшиштоф Й. Чиос

Аннотация: в этой статье мы исследуем возможности импульсных нейронных сетей в решении многозадачных задач классификации с использованием подхода однозадачности нескольких задач. Мы разработали и внедрили многозадачную импульсную нейронную сеть (MT-SNN), которая может обучаться двум или более задачам классификации, одновременно выполняя одну задачу. Задача для выполнения выбирается путем модуляции порога срабатывания нейронов с дырявой интеграцией и срабатыванием, используемых в этой работе. Сеть реализована с использованием платформы Intel Lava для нейроморфного чипа Loihi2. Проводятся тесты динамической многозадачной классификации для данных NMNIST. Результаты показывают, что MT-SNN эффективно изучает несколько задач, изменяя свою динамику, а именно порог срабатывания импульсирующих нейронов.

2. Адаптивная локальная бинарная нейронная сеть со сверхнизкой задержкой и оценщиком потерь точности (arXiv)

Автор:Чанцин Сюй, Ицзянь Пей, Цзыли Ву, И Лю, Иньтан Ян

Аннотация:Нейронная сеть с шипами (SNN) — это модель, вдохновленная мозгом, которая обладает большей способностью обработки пространственно-временной информации и энергоэффективностью вычислений. Однако с увеличением глубины SNN проблема памяти, вызванная весами SNN, постепенно привлекала внимание. Вдохновленный технологией квантования искусственных нейронных сетей (ANN), бинаризованный SNN (BSNN) введен для решения проблемы памяти. Из-за отсутствия подходящих алгоритмов обучения BSNN обычно получают преобразованием ANN в SNN, точность которого будет ограничена обученными ANN. В этой статье мы предлагаем адаптивную локальную бинарную нейронную сеть со сверхмалой задержкой (ALBSNN) с оценщиками потери точности, которая динамически выбирает слои сети для бинаризации, чтобы обеспечить точность сети путем оценки ошибки, вызванной бинаризованными весами. в процессе обучения сети. Экспериментальные результаты показывают, что этот метод может уменьшить объем памяти более чем на 20 % без потери точности сети. В то же время, чтобы ускорить скорость обучения сети, вводится слой глобального среднего пула (GAP), чтобы заменить полностью связанные слои комбинацией свертки и пула, чтобы SNN могли использовать небольшое количество времени. шаги для повышения точности распознавания. В крайнем случае использования только одного временного шага мы все равно можем достичь точности тестирования 92,92 %, 91,63 % и 63,54 % для трех разных наборов данных: FashionMNIST, CIFAR-10 и CIFAR-100 соответственно.

3. Классификация текста в нейронных сетях на основе мемристоров (arXiv)

Автор:Цзинци Хуан, Алекс Серб, Спирос Статопулос, Фемида Продромакис

Аннотация:Мемристоры, новые устройства энергонезависимой памяти, продемонстрировали многообещающий потенциал в нейроморфных конструкциях оборудования, особенно в аппаратной реализации нейронной сети (SNN). SNN на основе мемристоров успешно применяются в самых разных приложениях, включая классификацию изображений и распознавание образов. Однако внедрение SNN на основе мемристоров в текстовую классификацию все еще находится в стадии изучения. Одна из основных причин заключается в том, что обучение SNN на основе мемристоров для классификации текста является дорогостоящим из-за отсутствия эффективных правил обучения и неидеальности мемристоров. Чтобы решить эти проблемы и ускорить исследования по исследованию нейронных сетей на основе мемристоров в приложениях для классификации текста, мы разрабатываем среду моделирования с виртуальным массивом мемристоров, используя эмпирическую модель мемристоров. Мы используем эту структуру, чтобы продемонстрировать задачу анализа настроений в наборе данных обзоров фильмов IMDB. Мы используем два подхода для получения обученных импульсных нейронных сетей с мемристорными моделями: 1) путем преобразования предварительно обученной искусственной нейронной сети (ИНС) в SNN на основе мемристоров или 2) путем непосредственного обучения SNN на основе мемристоров. Эти два подхода могут применяться в двух сценариях: офлайн-классификация и онлайн-обучение. Мы достигаем точности классификации 85,88% путем преобразования предварительно обученной ИНС в SNN на основе мемристоров и 84,86% путем непосредственного обучения SNN на основе мемристоров, учитывая, что базовая точность обучения эквивалентной ИНС составляет 86,02%. Мы пришли к выводу, что можно достичь аналогичной точности классификации при моделировании от ИНС до СНС и от немемристивных синапсов до мемристивных синапсов, управляемых данными. Мы также исследуем, как глобальные параметры, такие как длина последовательности импульсов, шум считывания и условия остановки обновления веса, влияют на нейронные сети в обоих подходах.