Сверхразрешение изображения с использованием GAN

Введение

Что такое сверхвысокое разрешение?

Сверхразрешение изображения - это метод восстановления изображения с высоким разрешением из наблюдаемого изображения с низким разрешением. Большинство подходов к сверхразрешению изображения до сих пор использовали MSE (среднеквадратичную ошибку) как функцию потерь, проблема с MSE как функцией потерь. состоит в том, что детали изображения с высокой текстурой усредняются для создания плавной реконструкции.

GAN решают эту проблему, используя потерю восприятия, которая направляет реконструкцию изображения в сторону множества естественных изображений, создавая более реалистичные и убедительные решения с точки зрения восприятия.

Что такое GAN?

Генеративные состязательные сети (GAN) - это алгоритмические архитектуры, которые используют две нейронные сети, противопоставляя одну другую (таким образом, «состязательную»), чтобы генерировать новые синтетические экземпляры данных, которые могут передаваться за реальные данные.

Две нейронные сети - это генератор и дискриминатор. Генератор пытается создать новый экземпляр данных, а дискриминатор пытается определить, принадлежат ли данные обучающему набору данных или нет.

ссылки, чтобы узнать больше о GAN:

Мягкое введение в генеративные состязательные сети (GAN) - мастерство машинного обучения
Генеративные состязательные сети, или сокращенно GAN, представляют собой подход к генеративному моделированию с использованием методов глубокого обучения… machinelearningmastery.com

Руководство по генерирующим состязательным сетям (GAN) для новичков
Возможно, вы не думаете, что программисты - художники, но программирование - чрезвычайно творческая профессия. Это основано на логике… pathmind.com »

GAN со сверхвысоким разрешением:

GAN со сверхвысоким разрешением применяют глубокую сеть в сочетании с состязательной сетью для создания изображений с более высоким разрешением. Как упоминалось выше, SR GAN, как правило, создают изображения, которые более привлекательны для людей с большим количеством деталей по сравнению с архитектурой, построенной без GAN.

Метод

1) Введение

SR-GAN состоит из двух сетей: генератора и дискриминатора.

Дискриминатор (критик) обучается различать реальное изображение HR и сгенерированное изображение и реализуется с помощью CNN.

Генератор используется для получения входных изображений LR и создания выходных изображений HR, которые отправляются критику для оценки и реализованы с использованием блоков ResNet.

Функция потерь - это многокомпонентная функция потерь, состоящая из потери контента и состязательной потери.

2) Архитектура SR GAN

3) Функция потерь

Функция потери восприятия

Предыдущие подходы к сверхразрешению изображений основывались на методе MSE, но мы улучшаем этот подход, используя функцию потерь восприятия. Функция потери восприятия генерирует изображения с учетом релевантных для восприятия характеристик.

Потеря восприятия - это взвешенная сумма потери контента и состязательной потери.