DeepFaceDrawing — это нейросетевая модель, которая генерирует изображение человека на основе эскиза. Сеть была разработана исследователями из Гонконгского университета.
Живая демонстрация
Проблема существующих подходов
Существующие нейросетевые подходы к генерации изображений из эскиза быстро синтезируют изображения лица. Однако такие модели часто переобучаются на эскизах и требуют для ввода профессиональных эскизов или карт границ. Чтобы обойти это ограничение, исследователи предлагают смоделировать пространство формы с несколькими изображениями лиц и синтезировать изображение в этом пространстве, чтобы аппроксимировать входной эскиз. Нейронная сеть использует локально-глобальный подход. Модель использует эскизы в качестве ограничений. Это позволяет создавать правдоподобные изображения лиц.
Что внутри модели
Предлагаемый подход состоит из трех подмодулей:
- Модуль, в котором встраивания ключевых черт лица изучаются с помощью отдельных автоэнкодеров;
- Сеть картографирования признаков, которая декодирует векторы лиц в соответствующие многоканальные карты признаков;
- Сеть генерации изображений
Оценка производительности модели
Исследователи сравнили предложенный подход с альтернативными существующими архитектурами. Альтернативные модели включают Pix2pix, Lines2FacePhoto, Pix2pixHD, iSketchNFill. Ниже на некоторых примерах видно, что предлагаемый подход генерирует более фотореалистичные изображения.
