Добавление черт лица, таких как борода, усы, изменение пола и т. Д., Является сложной задачей при редактировании изображений из-за его сложности. Современные алгоритмы глубокого обучения, такие как Генеративные неблагоприятные сети, помогают решить проблему, не прибегая к ручному редактированию.
Подход
Наша цель - изменить изображение лица в соответствии с заданным значением атрибута. Вместо того, чтобы манипулировать всем изображением, мы предлагаем изучить соответствующее остаточное изображение, определяемое как разница между изображениями до и после манипуляции.
Здесь вы можете увидеть остаточные изображения, созданные сетями преобразования G0 и G1, которые добавляются к исходным изображениям для получения выходных данных.
Мотивация этого подхода заключается в том, что для манипуляции атрибутами лица обычно требуется лишь умеренное изменение области лица, зависящей от атрибута, в то время как другие части остаются неизменными.
Сети преобразования изображений
Учитывая, что x0 = изображение лица с отрицательным значением атрибута и x1 = изображение лица с положительным значением атрибута, изученная сеть G0 и G1 применяет преобразования манипуляции, чтобы получить остаточные изображения r0 и r1.
Затем остаточные изображения добавляются к входным изображениям в качестве окончательных выходных.
вывод = ввод + остаток.
Дискриминационная сеть
Дискриминативная сеть - это классификатор из трех категорий, который классифицирует изображения из разных категорий:
- изображения, созданные из G0 и G1 (преобразованные изображения),
- изображения с положительными атрибутами (настоящие изображения),
- и изображения с ярлыками отрицательных атрибутов (настоящие изображения).
Учитывая реальные изображения x0 и x1 с известным атрибутом label 0 и ярлыком 1, мы рассматриваем преобразованные изображения как дополнительная категория с меткой 2.
Двойное обучение
Механизм двойного обучения можно рассматривать как коммуникационную игру двух игроков.
Для данного изображения x0 с отрицательным значением атрибута мы передаем его через G0. Полученное изображение затем передается в G1. Поскольку G0 и G1 являются основной задачей и двойной задачей соответственно, ожидается, что выходные данные от G1 будут иметь то же значение атрибута, что и x0. Аналогичный процесс применяется и для x1.
Полученное изображение G1 (G0 (x0)) = x0
Полученное изображение G1 (G0 (x1)) = x1
Эффективность двойного обучения:
1) Изображения, генерируемые обоими генераторами, увеличивают количество обучающих выборок.
2) Во время фазы двойного обучения известны основные истинные изображения для G1 (G0 (x0)) и G0 (G1 (x1)), что упрощает обучение обоих генераторов.
Ссылка
Изучение остаточных изображений для манипуляции атрибутами лица - https://arxiv.org/abs/1612.05363
