Прошлый год ознаменовался огромным прогрессом в машинном обучении на основе ИИ для процедурного добавления визуальных улучшений поверх существующих изображений, например, в видеоиграх. Этот подход представляет собой серьезный отход от более старых и простых методов улучшения изображения, таких как фильтрация и повышение разрешения. Короче говоря, современные технологии могут интерпретировать размытую / низкокачественную / старую графику и заполнять пробелы, чтобы они выглядели лучше.

Меня интересовало, выиграют ли мои любимые видеоигры от этого визуального обновления, особенно аркадные игры 1990-х годов, такие как Super Street Fighter II Turbo (обычно сокращенно ST). В конце концов, для Final Fantasy IX недавно вышел фан-мод HD, который обновляет все текстуры в игре с помощью ESRGAN — недавно выпущенного бесплатного визуального инструмента от академических кругов. И Nvidia только что объявила об обновлениях текстур на основе машинного обучения для The Legend of Zelda: Twilight Princess в своем медиаплеере Shield.

Эта развивающаяся технология обладает большим потенциалом, хотя необходимо дополнительное тестирование и, возможно, более зрелые инструменты, чтобы определить, будет ли этот процесс полезен для ST. Некоторые образцы фотографий прилагаются. В этом zip-архиве гораздо больше.

Выводы

  • ESRGAN не может быть идеальным для ST. Существует много дизеринга (шахматной доски), с которым инструмент пока не справляется. Тем не менее, это интригующий и экономичный визуальный вариант, который может быть включен в коллекции классических игр — или устаревшие художественные активы где угодно — в ближайшем будущем.
  • ESRGAN намного лучше улучшает текстуру фона, чем спрайты и портреты. Лица часто искажаются, но объекты обычно интерпретируются и улучшаются соответствующим образом. Взгляните на фон и лица на улучшенном изображении Street Fighter III 3rd Strike.
  • Большинство этих инструментов машинного обучения извлекают выгоду из исходных изображений, которые уже имеют высокое качество и художественный стиль, что придает им живописный вид (к лучшему или к худшему). Я думаю, что изображение Street Fighter Alpha 3 улучшено намного эффективнее. Vampire Savior — еще одна игра, демонстрирующая эту технологию.

Подробности

ESRGAN — это новейшая общедоступная GAN (генеративно-состязательная сеть) для визуальных улучшений. Мое понимание GAN состоит в том, что есть 2 стороны: генерирующая сторона обновляет изображение на основе набора правил генерации и передает эти обновления, в то время как различительная сторона оценивает, соответствуют ли обновленные изображения, которые она получает, своему собственному набору правил оценки. Используется наименее подозрительный обновленный образ.

Я использовал интерполяцию 50/50 тестовых моделей Manga109 и ReducedColors для ESRGAN, ссылки на которые есть на этом сайте. Я объединил их, так как Manga109 иногда интерпретировал слишком много, в то время как ReducedColors иногда ошибался в сторону сходства с исходным изображением. И Manga109, и ReducedColors дали гораздо лучшие результаты для файтингов Capcom 1990-х годов, чем стандартные модели ESRGAN и PSNR, включенные в репозиторий GitHub.

Выучить больше

Если вы хотите попробовать ESRGAN со своими собственными изображениями, в этом блоге есть подробное руководство, дополняющее файл readme инструмента. Я также был мотивирован попробовать ESRGAN благодаря сообщению на Reddit и теме на форуме с серией убедительных сравнительных скриншотов до и после.

Обучение и использование моделей, очень похожих на ваши изображения, является ключом к результатам ESRGAN. Если бы были тысячи файлов изображений без потерь для ST — или даже для изображений файтингов в целом — их можно было бы использовать для обучения модели ST для ESRGAN, которая давала бы совершенно другие и, вероятно, лучшие визуальные эффекты. Если у кого-то есть время обучить модель ESRGAN для конкретной игры, я бы хотел увидеть результаты.

В прошлом году был выпущен ряд других инструментов визуального улучшения, основанных на машинном обучении, таких как SFTGAN, waifu2x, AI Gigapixel и Let’s Enhance. Я не экспериментировал с платными инструментами, хотя они также дают хорошие результаты.

Мне не терпится увидеть, как 2019 год изменит классические игры. Возможно, графические улучшения, которые выглядят неопровержимо лучше, чем в оригинальных версиях, и улучшения звука ИИ?