Ключевые слова: классификация видео, состязательная атака.

Фон

Глубокое обучение часто уязвимо для небольших атак злоумышленников. Авторы предлагают схему мерцающих временных возмущений для злоумышленников, атакующих видеоклассификаторы.

Авторы проводят демонстрацию механизма атаки противника в реальном мире по воздуху, физически мигая RGB-светом во время съемки, и обнаруживают, что атака противника действительно носит генерализованный характер.

Метод

Предлагаемая мерцающая состязательная атака просто добавляет постоянное смещение RGB ко всему кадру. А именно, каждый кадр x_i исходного видео X преобразуется в x̂_i=x_i+δ_i для создания модифицированного видео X̂, которое считается состязательным, если результаты вывода для X и X̂ различны. Параметры 3T (T: #frames, 3: RGB-каналы) вектора δ = [δ_1, δ_2, .., δ_T] обучаются для оптимизации C&W-подобной схемы атаки противника.

Возмущение лучше всего, когда оно эффективно обманывает модель, но изменение незаметно для людей. Авторы изучают условия регуляризации толщины и шероховатости с целью тренировки, чтобы наказать радикальные изменения, которые являются более заметными.

При настройке одного видео каждое видео имеет собственный оптимизированный δ.

Обобщенная или универсальная мерцающая атака заключается в обнаружении единственного возмущения, которое обманывает модель для всех видео.

Авторы предполагают, что атака выгодна, потому что не добавляется пространственный паттерн, а эффект имитирует изменения условий освещения или поведения датчика. Однако наиболее интересным свойством этой конструкции является то, что мерцание можно реализовать в реальном мире, используя простой светодиодный источник света.

Этот эксперимент буквально называется мерцание противников по воздуху.

Полученные результаты

Величину возмущения можно наблюдать по толщине и значению шероховатости в таблице выше. Единичные видеоатаки могут обмануть модель с очень незначительной величиной возмущения.

Количество параметров, оптимизированных для атаки противника, было очень небольшим в универсальной настройке, так как 3K параметров были обучены для обмана данных размером NHW3K. Тем не менее, предложенная мерцающая атака смогла обмануть модель классификации видео с разумным возмущением. Универсальная атака, которая применяется неизменно во времени, даже смогла успешно обмануть эфирную настройку.

Авторы также проводят эксперименты с другими видеомоделями и стратегиями атак, чтобы продемонстрировать, что предлагаемый метод действительно применим для разных моделей.

Удивительную демонстрацию проекта можно увидеть:

Выводы

Мерцающая атака имеет несколько преимуществ, таких как относительная незаметность для человека-наблюдателя в некоторых случаях, достигаемая небольшими и плавными возмущениями, как можно увидеть в демонстрационных видеороликах, особенно при индивидуальной оптимизации видео. Несмотря на свою простоту, предлагаемая схема мерцающей атаки может быть эффективным методом состязательной атаки в области видео.

У меня всегда были некоторые опасения по поводу того, действительно ли состязательные атаки имеют значение для модели, из-за скептицизма по поводу того, могут ли эти искусственные образы появиться в реальных данных. Однако эксперимент с атакой по воздуху стал убедительным доказательством того, что модели глубокого обучения действительно могут быть уязвимы для атак со стороны противника.

Эфирный эксперимент кажется очень практичным, но на самом деле может быть проблематичным. Например, было бы катастрофой, если бы кто-то смог намеренно нарушить обзор автономных транспортных средств с помощью таких универсальных атак. По-видимому, необходимо уделять больше внимания защитным механизмам.