На недавней конференции NVIDIA GPU Technology Conference (GTC) 2019 Synced сообщила о приложении волшебная кисть, которое может превращать простые линейные рисунки и эскизы в реалистичные пейзажи. GauGAN позволяет пользователям управлять не только семантическим содержанием, но и стилем создаваемого изображения. NVIDIA открыла исходный код модели, которая стоит за потрясающими изображениями.
Простой инструмент NVIDIA позволяет любому создать свою собственную «волшебную кисть». Руководство по повторной реализации на Github включает подробные шаги по установке, охватывающие подготовку набора данных, обучение и вывод.
Авторы статьи рекомендуют COCO-Stuff, Cityscapes или ADE20K в качестве обучающего набора данных, а несколько примеров изображений из COCO-stuff включены в репозиторий кода, с которым пользователи могут поэкспериментировать. Также доступна предварительно обученная модель для быстрого развертывания и тестирования.
Тем, кто хочет воспроизвести результаты самостоятельно, вероятно, потребуется спонсорство NVIDIA, поскольку модель была обучена на машине NVIDIA DGX1 с 8 графическими процессорами V100.
Алгоритм, лежащий в основе GauGAN, - это синтез семантического изображения с пространственно-адаптивной нормализацией (SPADE), улучшенное решение для уровней нормализации.
Общие методы нормализации, такие как пакетная нормализация, изучают аффинные слои после этапа нормализации, поэтому семантическая информация из входных данных имеет тенденцию «смываться». SPADE изучает аффинный слой непосредственно из карты семантической сегментации, так что входная семантическая информация может сохраняться и действовать на всех выходных данных слоя.
Работа Синтез семантических изображений с пространственно-адаптивной нормализацией была принята CVPR 2019 для устной презентации.
Предварительно обученную модель можно скачать из Папки Google Диска, а открытый исходный код доступен на GitHub. Сайт проекта SPADE находится здесь.
Автор: Мос Чжан | Редактор: Майкл Саразен
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
