Преобразование изображения в изображение - это класс проблем со зрением и графикой, целью которого является изучение соответствия между входным и выходным изображениями. Его можно применять в широком спектре приложений, таких как перенос стиля коллекции, преобразование объектов, перенос времени года и улучшение фотографий.
CycleGAN
Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks(ICCV 2017)
Бумага / Проект / Семантический ученый
Авторы представляют подход к обучению переводить изображение из исходного домена X в целевой домен Y при отсутствии парных примеров. Цель состоит в том, чтобы изучить отображение G: X → Y, такое, что распределение изображений из G (X) неотличимо от распределения Y с использованием состязательной потери. Поскольку это отображение сильно ограничено, мы соединяем его с обратным отображением F: Y → X и вводим потерю согласованности цикла, чтобы обеспечить выполнение F (G (X)) ≈ X (и наоборот).
Парные обучающие данные (слева) состоят из обучающих примеров, имеющих однозначное соответствие. Непарная обучающая выборка такого соответствия не имеет (рисунок взят из статьи).
Рисунок взят из бумаги.
Модель содержит две функции отображения G: X → Y и F: Y → X, а также связанные с ними противоборствующие дискриминаторы DY и DX. DY поощряет G переводить X в выходные данные, неотличимые от домена Y, и наоборот для DX, F и X. Чтобы еще больше упорядочить сопоставления, они вводят две «потери согласованности цикла», которые улавливают интуицию, что если мы переводим из одного домена в другой и обратно, мы должны прийти туда, где начали.
StarGAN
Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation(CVPR 2018)
Бумага / Код / Семантический ученый
Существующие подходы к преобразованию изображений в изображения имеют ограниченную масштабируемость и надежность при работе с более чем двумя доменами, поскольку разные модели должны строиться независимо для каждой пары доменов изображений. StarGAN - это новый и масштабируемый подход, который может выполнять преобразование изображения в изображение для нескольких доменов, используя только одну модель.
Сравнение междоменных моделей и предлагаемой нами модели StarGAN. (a) Для работы с несколькими доменами необходимо строить междоменные модели для каждой пары доменов изображений. (b) StarGAN может изучать сопоставления между несколькими доменами с помощью одного генератора. На рисунке изображена звездообразная топология, соединяющая мультидомены (рисунок взят из статьи).
Обзор StarGAN, состоящего из двух модулей, дискриминатора D и генератора G. (a) D учится различать реальные и поддельные изображения и классифицирует реальные изображения по соответствующей области. (b) G принимает в качестве входных данных как изображение, так и метку целевого домена и генерирует поддельное изображение. Метка целевого домена пространственно реплицируется и объединяется с входным изображением. © G пытается восстановить исходное изображение по поддельному изображению с учетом исходной метки домена. (d) G пытается сгенерировать изображения, неотличимые от реальных изображений и классифицируемые D. как целевая область (рисунок взят из статьи)
Первоначально опубликовано на amberer.gitlab.io.
