Обзор Lickety Split
Проблема:
• Мы хотим иметь контроль над детализацией выходных данных SR
• В подходах SOTA BFR используются априорные данные GAN для лица, но можем ли мы на самом деле не использовать его и по-прежнему получать максимум? - достоверность результатов?
Решение:
• Генератор на основе стилей, вдохновленный StyleGAN2
• Добавление повышающих коэффициентов в генератор
• Объединение закодированных и сгенерированных функций
Авторы хотят выполнить Face SR (FSR) и BFR без использования априорных изображений GAN лица (предварительно обученный StyleGAN2) и добавить возможность управления детализацией вывода SR. Архитектура состоит из кодировщика, выдающего пространственные признаки и скрытый вектор, и генератора, состоящего из последовательности блоков модуляции стиля и признака на каждом разрешении. Блок модуляции стиля принимает ранее сгенерированные пространственные характеристики и скрытый вектор w и управляет мелкими деталями лица. Блок модуляции признаков берет пространственные признаки как из блока модуляции стиля, так и из кодировщика, объединяя их по принципу SPADE, контролируя, какие признаки являются более важными, с помощью векторов масштабирования, полученных из коэффициента масштабирования s. Окончательное изображение затем получается как сумма модуляции признаков разных масштабов. Используемые потери: L1, состязательные и перцептивные. Однако авторы утверждают, что при апскейлинге ≤ 8 можно использовать только состязательный проигрыш.
ИМХО: идея с условным коэффициентом масштабирования s для SR отличная; эта статья заставила меня задуматься о бессмысленности фразы face GAN prior, потому что если мы тренируем GFPGAN или GPEN, внутри которого с нуля находится StyleGAN2, он может давать сопоставимые результаты с предварительно обученной версией.
Привет всем! «Lickety Split Review» предназначен для того, чтобы дать вам представление о том, о чем статья, за пару минут: мы выделяем проблемы, с которыми сталкиваются авторы, показываем, как они их решают, рассказываем о новизне и даем вам свое скромное мнение о ней. .
