- Визуализация восприятия: взгляд глазами DNN (arXiv)
Автор: Лорис Джуливи, Марк Джеймс Карман, Джакомо Борачки
Аннотация. Системы искусственного интеллекта (ИИ) управляют миром, в котором мы живем. Глубокие нейронные сети (ГНС) способны решать задачи в постоянно расширяющемся ландшафте сценариев, но наше стремление применять эти мощные модели заставляет нас сосредоточиться на их исполнении и лишает приоритета нашу способность их понимать. Текущие исследования в области объяснимого ИИ пытаются восполнить этот пробел, разрабатывая различные методы объяснения на основе возмущений или градиентов. Для изображений эти методы не могут полностью зафиксировать и передать семантическую информацию, необходимую для объяснения того, почему модель делает прогнозы, которые она делает. В этой работе мы разрабатываем новую форму объяснения, которая радикально отличается по своей природе от современных методов объяснения, таких как Grad-CAM. Визуализация восприятия обеспечивает визуальное представление того, что DNN воспринимает во входном изображении, изображая, каким визуальным шаблонам соответствует скрытое представление. Визуализации получаются с помощью модели реконструкции, которая инвертирует закодированные признаки, так что параметры и прогнозы исходных моделей не изменяются. Результаты нашего пользовательского исследования показывают, что люди могут лучше понимать и предсказывать решения системы, когда доступны визуализации восприятия, что упрощает отладку и развертывание глубоких моделей в качестве надежных систем.
2. Как пройти обучение DNN, обеспечивающее эффективную коммуникацию? Преобразование, сжатие, исправление (arXiv)
Автор:Чжун-Цзин Чен, Эдуин Э. Эрнандес, Ю-Чи Хуан, Стефано Рини
Аннотация. В этой статье мы представляем CO3, алгоритм для эффективного обучения интегрированной глубокой нейронной сети (DNN). CO3 получил свое название от трех применяемых шагов обработки, которые снижают коммуникационную нагрузку при передаче локальной градиенты от удаленных пользователей к серверу параметров. А именно: (i) квантование градиента посредством преобразования с плавающей запятой, (ii) сжатие квантованного градиента без потерь и (iii) коррекция ошибок квантования. Мы тщательно разрабатываем каждый из вышеперечисленных шагов, чтобы чтобы свести к минимуму потери при обучении распределенной DNN, когда затраты на связь фиксированы. В частности, при разработке шагов (i) и (ii) мы принимаем предположение, что градиенты DNN распределяются в соответствии с обобщенным нормальным распределением. Это предположение подтверждено численно в статье. На этапе (iii) мы используем обратную связь по ошибке с механизмом затухания памяти, чтобы исправить ошибку квантования, введенную на этапе (i). Мы утверждаем, что этот коэффициент, как и скорость обучения, можно оптимально настроить для улучшения сходимости. Характеристики CO3 подтверждены численным моделированием и демонстрируют более высокую точность и улучшенную стабильность при уменьшенной полезной нагрузке связи.
3. Использование скрытых представлений от распознавателя речи на основе DNN для прогнозирования разборчивости речи у слушателей с нарушениями слуха (arXiv)
Автор: Зехай Ту, Нинг Ма, Джон Баркер
Аннотация: Точные объективные алгоритмы прогнозирования разборчивости речи представляют большой интерес для многих приложений, таких как улучшение речи для слуховых аппаратов. Большинство алгоритмов измеряют отношения сигнал-шум или корреляции между акустическими характеристиками чистых эталонных сигналов и сигналов с искажениями. Однако эти подобранные вручную акустические признаки обычно явно не коррелируют с узнаванием. Между тем, автоматический распознаватель речи (ASR) на основе глубокой нейронной сети (DNN) приближается к человеческим возможностям в некоторых задачах распознавания речи. В этой работе используются скрытые представления ASR на основе DNN в качестве функций для прогнозирования разборчивости речи у слушателей с нарушениями слуха. Эксперименты, основанные на базе данных по разборчивости слуховых аппаратов, показывают, что предложенный метод может давать более точные прогнозы, чем широко используемые бинауральные измерения, основанные на краткосрочной объективной разборчивости (STOI).
4.Монолитные трехмерные DNN-ускорители с температурным учетом для биомедицинских приложений (arXiv)
Автор:Прачи Шукла, Василис Ф. Павлидис, Эмре Салман, Айсе К. Джошкун
Аннотация. В этой статье мы сосредоточимся на ускорителях логических выводов монолитной 3D (Mono3D) глубокой нейронной сети (DNN) с учетом температуры для биомедицинских приложений. Мы разрабатываем оптимизатор, который настраивает соотношение сторон и занимаемую площадь ускорителя в соответствии с заданными пользователем ограничениями по производительности и температуре и создает почти оптимальные конфигурации. Используя предлагаемый оптимизатор Mono3D, мы демонстрируем повышение энергоэффективности биомедицинских приложений на 61 % по сравнению с оптимизированным по производительности ускорителем.
