Цель

Автоматически изменяйте возраст изображений лиц в видео без потери идентичности и с большим художественным контролем.

Эта сеть повторного старения, FRAN, в возрасте от 18 до 85 лет делает фотореалистичное и непрерывное повторное старение лица как в прямом, так и в обратном направлении во времени. На изображении выше показаны результаты FRAN, где входные изображения возраста 34, 35, 45, 18 повторно старятся до возраста от 20 до 80 лет.

Зачем нам нужен фреймворк повторного старения

Основной потенциал FRAN лежит в индустрии развлечений и рекламы. Эта модель может значительно сократить время и затраты, связанные с фотореалистичным цифровым и непрерывным повторным старением.

Проблемы с текущими методами

Существующие методы страдают от потери идентичности лица, поскольку они не могут точно представить черты лица «этого» человека. Кроме того, эти модели дают нестабильные результаты для последующих видеокадров с разными выражениями лица, точками обзора и освещением.

Однако на синтетических изображениях с анфас эти подходы работают оптимально.

Архитектура модели

Ключевые моменты, на которые следует обратить внимание:

  1. Одной из самых сложных задач является создание обучающего набора данных с парными обучающими изображениями, на которых изображены один и тот же человек и фон, с одной и той же точки зрения и освещения, с одним и тем же выражением лица, отличающиеся только возрастом. Эта статья решает эту проблему, используя современные современные подходы к повторному старению, и создает богатые продольные наборы данных, состоящие из полностью синтетических лиц с фотореалистичными и последовательными эффектами старения.
  2. Ввод состоит из входного возраста, целевого возраста и изображения. Это помогает FRAN сосредоточиться на задаче повторного старения, а не пытаться оценить текущий возраст.
  3. Задача повторного старения была сформулирована как преобразование изображения в изображение. Используется простая архитектура U-Net, поскольку она сохраняет пространственное расположение входных данных благодаря пропуску ссылок U-Net.
  4. Вместо того, чтобы учиться генерировать все лицо, эта модель будет выводить только смещения RGB, которые будут помещены поверх входного изображения. Это в основном предотвращает потерю идентичности лица.
  5. При обучении используется дополнительный состязательный надзор. Выборки с правильным возрастом из синтетического набора данных представлены как «настоящие» примеры, а сгенерированные FRAN — как «фальшивые» примеры.

Ссылка на статью: https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/