Вы когда-нибудь пытались превратить вулкан в Фонарь Джека? В области глубокого обучения эта проблема описывается как преобразование изображения в изображение. В этом конкретном случае мы говорим о неконтролируемой проблеме, поскольку между вулканом и соответствующей тыквой не так много совпадающих пар изображений. Даже не совсем понятно, что в данном случае означает «соответствие». В «TraVeLGAN: преобразование изображения в изображение с помощью векторного обучения трансформации» авторы пытаются решить эту и аналогичные проблемы, используя новую систему GAN. В отличие от хорошо известного CycleGAN, который может сопоставлять похожие домены, такие как яблоки, апельсины, лошади, зебры и т. Д., Но не работает на более сложных связанных доменах, авторы TraVeLGAN добавляют сиамскую сеть в классический GAN. настраивать. Эта сеть обеспечивает семантическую согласованность в векторном пространстве и работает аналогично word2vec.

Аннотация:

«Интерес к преобразованию изображения в изображение существенно вырос в последние годы благодаря успеху неконтролируемых моделей, основанных на предположении о цикличности. Достижения этих моделей были ограничены конкретным подмножеством областей, в которых это предположение дает хорошие результаты, а именно однородными областями, которые характеризуются различиями стиля или текстуры. Мы решаем сложную проблему преобразования изображения в изображение, когда области определяются высокоуровневыми формами и контекстами, а также включают значительный беспорядок и неоднородность. С этой целью мы представляем новую сеть GAN, основанную на сохранении внутридоменных векторных преобразований в скрытом пространстве, изученном сиамской сетью. Традиционная система GAN представила дискриминаторную сеть, которая помогает генератору генерировать изображения в целевой области. К этой двухсетевой системе мы добавляем третью: сиамскую сеть, которая направляет генератор так, чтобы каждое исходное изображение разделяло семантику с его сгенерированной версией. С этой новой трехсетевой системой нам больше не нужно ограничивать генераторы повсеместным ограничением согласованности цикла. В результате генераторы могут изучать сопоставления между более сложными доменами, которые отличаются друг от друга большими различиями - не только стилем или текстурой) ».

Вы можете прочитать статью полностью здесь.

Об авторе:

Патрик Керн, технический директор и соучредитель Brighter AI.