- Удаление пакетной нормализации повышает эффективность обучения противников(arXiv)
Автор:Хаотао Ван, Астон Чжан, Шуай Чжэн, Синьцзянь Ши, Му Ли, Чжанъян Ван
Вывод:обучение со стороны противника (AT) защищает глубокие нейронные сети от атак со стороны противника. Одной из проблем, ограничивающих его практическое применение, является снижение производительности на чистых образцах. Основным узким местом, выявленным в предыдущих работах, является широко используемая пакетная нормализация (BN), которая изо всех сил пытается смоделировать различную статистику чистых и состязательных обучающих выборок в AT. Хотя основной подход заключается в расширении BN для захвата этой смеси распределений, мы предлагаем полностью устранить это узкое место, удалив все слои BN в AT. Наш метод надежного обучения без нормализаторов (NoFrost) расширяет последние достижения в области сетей без нормализаторов на AT благодаря его неизведанному преимуществу в решении проблемы распределения смеси. Мы показываем, что NoFrost обеспечивает устойчивость к состязательным действиям лишь с незначительной жертвой точностью чистой выборки. В ImageNet с ResNet50 NoFrost достигает чистой точности 74,06%, что всего на 2,00% меньше, чем при стандартном обучении. Напротив, AT на основе BN обеспечивает чистую точность 59,28%, что значительно ниже на 16,78% по сравнению со стандартным обучением. Кроме того, NoFrost обеспечивает устойчивость к атакам PGD на уровне 23,56 %, что повышает надежность AT на основе BN на уровне 13,57 %. Мы наблюдаем лучшую плавность модели и больший диапазон решений от NoFrost, что делает модели менее чувствительными к входным возмущениям и, следовательно, более надежными. Более того, при включении в NoFrost дополнительных дополнений к данным достигается всесторонняя устойчивость к многочисленным сменам распределения. Код и предварительно обученные модели общедоступны по адресу https://github.com/amazon-research/normalizer-free-robust-training.
2.Пакетная нормализация домена SPD для взлома интерпретируемой неконтролируемой адаптации домена в ЭЭГ(arXiv)
Автор: Рейнмар Дж. Коблер, Дзюн-итиро Хираяма, Цибин Чжао, Мотоаки Каванабэ.
Аннотация : Электроэнцефалография (ЭЭГ) обеспечивает неинвазивный доступ к динамике нейронов с миллисекундным разрешением, что делает этот метод жизнеспособным в неврологии и здравоохранении. Однако его полезность ограничена, поскольку текущая технология ЭЭГ плохо обобщается в разных областях (т. Е. Сеансах и субъектах) без дорогостоящей контролируемой повторной калибровки. Современные методы рассматривают эту проблему переноса обучения (TL) как проблему неконтролируемой адаптации домена (UDA) с несколькими источниками и целями и решают ее с помощью методов глубокого обучения или неглубоких методов выравнивания с учетом римановой геометрии. Оба направления до сих пор не смогли последовательно сократить разрыв в производительности перед современными предметно-ориентированными методами, основанными на отображении касательного пространства (TSM) на симметричном положительно определенном (SPD) многообразии. Здесь мы предлагаем основанную на теории структуру машинного обучения, которая впервые позволяет изучать модели TSM, не зависящие от предметной области, сквозным образом. Чтобы достичь этого, мы предлагаем новый строительный блок для геометрического глубокого обучения, который мы обозначаем SPD-специфичной пакетной нормализацией импульса (SPDDSMBN). Уровень SPDDSMBN может преобразовывать входные данные SPD, зависящие от домена, в выходные данные SPD, не зависящие от домена, и может быть легко применен к сценариям с несколькими источниками/целями и онлайн-сценариям UDA. В обширных экспериментах с 6 различными наборами данных интерфейса мозг-компьютер (BCI) ЭЭГ мы получили самые современные результаты в межсессионном и предметном TL с простой, внутренне интерпретируемой сетевой архитектурой, которую мы обозначаем TSMNet.
3.Пакетная нормализация во время тестирования(arXiv)
Автор: Тао Ян, Шэнлун Чжоу, Юван Ван, Ян Лу, Наньнин Чжэн
Вывод:Глубокие нейронные сети часто страдают от сдвига распределения данных между обучением и тестированием, и наблюдаемая пакетная статистика отражает этот сдвиг. В этой статье, нацеленной на уменьшение сдвига распределения во время тестирования, мы вновь рассматриваем пакетную нормализацию (BN) в процессе обучения и раскрываем два ключевых момента, способствующих оптимизации времени тестирования: (i) сохранение той же формы обратного распространения градиента, что и при обучении, и ( ii) использование статистики на уровне набора данных для надежной оптимизации и логического вывода. Основываясь на этих двух выводах, мы предлагаем новый дизайн слоя BN во время тестирования, GpreBN, который оптимизируется во время тестирования за счет минимизации потерь энтропии. Мы проверяем эффективность нашего метода на двух типичных настройках со сдвигом распределения, то есть задачах обобщения предметной области и надежности. Наш GpreBN значительно улучшает производительность во время тестирования и достигает самых современных результатов.
