Команда: Африка / Детектор
Фокус: видео и изображение
Резюме статей
- В статье Рёсслера о Faceforensics++ Рёсслер предлагает два подхода к обнаружению манипуляций с изображением лица на изображениях и определяет эталон для измерения точности таких моделей. Первый подход основан на обучении SVM на функциях стегананализа, а второй — на использовании CNN. Они достигли точности двоичного обнаружения 99,26% для необработанных видео, точности 95,73% для сжатых видео высокого качества и точности 81,00% для видео низкого качества с вариантной моделью классификатора XceptionNet.
- Гуэра и др. Обнаружение дипфейкового видео с использованием рекуррентных нейронных сетей
В этом документе используется 2-потоковая НС, ориентированная на следующие недостатки генерации дипфейков.
i. Различные условия освещения, разные кодеки мешают автоэнкодеру создавать реалистичные лица при любых условиях, что приводит к несоответствию сцены на уровне кадра лица со сценой.
ii. Кодировщик не знает о коже или другой информации о сцене, поэтому фальшивое видео часто имеет граничные эффекты из-за слияния между новым лицом и остальной частью кадра.
iii. Поскольку автоэнкодер обычно выполняет замену кадр за кадром, отсутствие временной осведомленности является источником множества аномалий. Непоследовательное освещение между сценами приводит к мерцанию в области лица, характерному для большинства поддельных видео. (Несогласованность во всех непрерывных кадрах).
Модель использует…
Во-первых, предварительно обученный ImageNet InceptionV3 с полностью подключенным слоем для CNN, который выводит 2048-мерный вектор признаков.
Во-вторых, LSTM шириной 2048 с вероятностью отсева 0,5 — полносвязный слой 512 с вероятностью отсева 0,5 — слой softmax.
3. Ли и др. Разоблачение видео DeepFake путем обнаружения артефактов обертывания лица
В статье обнаруживаются синтезированные видео, используя артефакты оборачивания лица, возникающие в результате производственного конвейера DeepFake. Они используют тот факт, что текущие алгоритмы DeepFake сначала генерируют изображение лица фиксированного размера, а затем подвергаются аффинному преобразованию, чтобы соответствовать позе и размеру целевого лица, что создает несоответствие разрешения вокруг области лица. В статье обучаются четыре модели CNN — VGG16, ResNet50, ResNet101 и ResNet152 с использованием собственного конвейера случайно сгенерированных отрицательных примеров из обучающей партии. Параметры установлены как размер пакета 64, скорость обучения начинается с 0,001 и затухает 0,95 после каждых 1000 шагов. ResNet50 добился наилучшей производительности, превзойдя двухпотоковую NN примерно на 16%, и пришел к выводу, что, обнаружив несоответствие разрешения при переносе лица, они разработали надежную модель для обнаружения синтезированных поддельных видео.
4. Коршунов и Марсель показали, что современные системы распознавания лиц VGG и FaceNet могут быть обмануты изображениями DeepFake с вероятностью ложного принятия до 95%. Они экспериментировали с двумя методами: обнаружение несоответствия синхронизации губ и обнаружение на основе визуальных показателей. Они сообщают, что обнаружение несоответствия синхронизации губ неэффективно при обнаружении изображений DeepFake. Коршунов и Марсель получили коэффициент ошибок 8,97% при обнаружении DeepFake на видео высокого качества. В своих исследованиях они утверждают, что способность обнаруживать DeepFake имеет первостепенное значение для безопасного продолжения использования конвейеров распознавания лиц.
использованная литература
[1] А. Рёсслер, Д. Коццолино, Л. Вердолива, К. Рисс Faceforensics++: обучение обнаружению манипулируемых изображений лица, https://arxiv.org/abs/1901.08971 [01 октября 2019 г.]
[2] Дэвид Гуэра и Эдвард Дж. Делп. Обнаружение дипфейковых видео с помощью рекуррентных нейронных сетей. На Международной конференции IEEE по передовым технологиям наблюдения на основе видео и сигналов 2018 г.
[3] Юезун Ли и Сивэй Лю. Разоблачение видео DeepFake путем обнаружения артефактов искажения лица. Семинар CVPR, стр. 45–52. Университет в Олбани, Государственный университет Нью-Йорка
[4] Павел Коршунов и Себастьен Марсель. Дипфейки: новая угроза узнаваемости лица? оценка и обнаружение. Препринт arXiv arXiv: 1812.08685, 2018 г.
[5] Сакши Агарвал и Лав Р. Варшни Пределы обнаружения Deepface: точка зрения надежной оценки, https://arxiv.org/pdf/1905.03493.pdf [09 мая 2019 г.]
[6] Многозадачное обучение для обнаружения и сегментации манипулируемых изображений и видео лиц, https://arxiv.org/pdf/1906.06876.pdf
