Обзор Lickety Split
Проблема. Текущие методы восстановления слепых лиц с использованием априорных изображений лиц, инкапсулированных в предварительно обученную GAN лица посредством инверсии скрытого кода, не учитывают уровень деградации изображения лица, поэтому восстановление кажется реальным, но не хватает точности исходного лица.
Решение:
• Добавьте модуль удаления деградации
• Внедрите модуль преобразования пространственных объектов
• Используйте комбинацию потерь, связанных с лицом.
Основное преимущество работы заключается в повышении общего качества использования лицевых априоров. Это делается путем тщательного слияния функций StyleGAN с пространственными функциями исходного лица. Прежде всего, авторы предоставляют модуль удаления деградации, который представляет собой U-Net, обеспечивающий скрытое представление (встраивание) для входных данных StyleGAN и пространственных функций (слоев декодера) для слияния с промежуточными функциями StyleGAN в разных масштабах. Во-вторых, они предлагают слои Channel-Split Spatial Feature Transform (CS-SFT), которые делят функции StyleGAN на две части, одна из которых является идентификационной частью, а вторая предназначена для масштабирования и смещения пространственных функций из модуля деградации, а затем объединяет их. , этот процесс выполняется на каждом уровне разрешения и, наконец, генерирует восстановленное лицо. Что касается потерь, то существует 4 группы потерь: потеря реконструкции (L1+перцептивная), потеря состязательного дискриминатора, потеря компонентов лица (3 независимых дискриминатора для глаз и рта) и потеря идентичности (косинусная разность векторов ArcFace). Кроме того, существует потеря восстановления L1 на ранних этапах обучения для вывода модуля удаления деградации в разных масштабах.
ИМХО: идея отличная: реставрация сочетает в себе исходную идентичность лица, детали лица и точность воспроизведения; при использовании для видео текстура волос головы в аналогичной позе и состоянии имитации шумит от кадра к кадру, что значительно ухудшает визуальное восприятие полученного видео.
Привет всем! «Lickety Split Review» предназначен для того, чтобы дать вам представление о том, о чем статья, за пару минут: мы выделяем проблемы, с которыми сталкиваются авторы, показываем, как они их решают, рассказываем о новизне и даем вам свое скромное мнение о ней. .
