Я не собираюсь делать вам скучное вступление; вместо этого я собираюсь поговорить о том, что мы все любим, о фильмах. От душераздирающих смертей (покойся с миром, Тони Старк) до захватывающих триллеров, которые держат нас в напряжении. Оглядываясь назад на все потрясающие фильмы в истории, я вижу тенденцию к улучшению компьютерной графики. Не самое потрясающее открытие, но прогресс, которого мы достигли, смехотворен. От необходимости снимать в неподвижно движущейся машине до отсутствия необходимости делать большую часть фона.
Несмотря на то, что большинство визуальных эффектов сегодня по-прежнему создаются вручную или с помощью простой программы. Я думаю, что слишком много времени и ресурсов можно радикально оптимизировать с помощью новых достижений в искусственном интеллекте (ИИ). Итак, давайте взглянем на документ, который может навсегда изменить анимационную индустрию.
Время глубокого погружения
Статья, которую я собираюсь обобщить и показать вам, насколько она эффективна, Модель движения сплайна на тонкой пластине для анимации изображения», ссылка на которую приведена здесь, а также в конце этой статьи.
Что, если бы я сказал, что вы можете взять простое изображение и превратить его в профессионально выглядящую анимацию с минимальными усилиями или вообще без усилий? Преобразование статического объекта в анимацию после вождения видео. Есть много проблем с текущими методами, например, неконтролируемые методы имеют большие промежутки в позе между результатом и движущимся изображением.
Итак, давайте разберем его и упростим прослеживание того, что делает ИИ (используйте диаграмму выше в качестве справки).
Вождение и источник
Исходное изображение — это статический объект, который будет проходить через сеть рисования для преобразования в анимацию. В то же время анимация вождения используется в качестве основы для BG Motion Predictor.
Аффинное преобразование
BG Motion Predictor прогнозирует аффинное преобразование, используя метод линейного отображения. Рассматривание точек, прямых и плоскостей. Метод аффинного преобразования используется для исправления геометрических искажений, но также может помочь в нашей анимации.
Детектор ключевых точек
Этот метод включает в себя одновременное обнаружение объектов и отображение их ключевых точек. Это пространственные местоположения или, в данном примере, точки на изображении, которые можно использовать для преобразования в анимацию вождения.
Тонкопластинчатый шлиц (TPS)
Основная причина, по которой вы используете добавленные преобразования сплайна тонкой пластины (TPS), заключается в том, что мы можем аппроксимировать движение, являющееся эффективным инструментом для моделирования преобразований координат. Поскольку аффинное преобразование является линейным, это затрудняет представление сложных движений. При этом движения большинства объектов часто локально нелинейны (например, когда люди открывают рот, их губы искривляются).
Плотная сеть движения
Оптический поток
После прохождения BG Motion Predictor оптический поток представляет собой векторное поле между двумя объектами, показывающее, как пиксели объекта на первом изображении могут быть искажены, чтобы сформировать тот же объект на втором изображении.
Маски окклюзии с несколькими разрешениями
Простая техника для понимания того, какие части изображения наиболее важны и должны быть преобразованы. Он также используется для того, чтобы модель могла исказить изображение, не искажая ничего, что также может быть близко похоже на человека. Будучи сетью песочных часов, в конечном итоге она перенесет исходное изображение через Inpainting Network, чтобы получить окончательный результат.
Математическое время
Хорошо, теперь, когда вы понимаете термины, которые будут использоваться в этой модели, теперь мы можем пройти весь процесс и включить немного математики здесь и там. Итак, для начала мы получаем исходное изображение (S) и анимацию вождения (D). Чтобы начать процесс, мы начнем с детектора ключевых точек. Поскольку он получает S и D, чтобы предсказать K x N пар ключевых точек для создания преобразований K-TPS. Теперь перейдем к BG Motion Predictor, который использует S и D для оценки параметров аффинного преобразования.
Теперь переходим к сети плотного движения, используя преобразование K TPS из детектора ключевых точек и аффинное преобразование из предиктора движения BG. Оптический поток будет оцениваться путем объединения этих К + преобразований. В то же время маски окклюзии с несколькими разрешениями используются в качестве окончательной защиты от сбоев, чтобы обеспечить переход всех областей.
Окончательная сеть Inpainting деформирует карты объектов исходного изображения, используя предполагаемый оптический поток и закрашивая недостающие области на исходном изображении, чтобы создать окончательный слой, который будет следовать тем же движениям, что и движущееся видео, но с исходным изображением.
Пристальный взгляд на тонкопластинчатые шлицы (TPS)
Хорошо, как сказано выше, TPS оценивает параметры, чтобы попытаться найти сопоставление. В некотором смысле вы можете думать об этом как о T (S) = D. Теперь это простая версия, чтобы добавить немного сложности. Сохранение T прежним и определение S немного более описательным. As можно превратить в pis, который может представлять ключевые точки изображения S. Теперь мы можем использовать детектор ключевых точек для прогнозирования K x N, где K — количество преобразований TPS и сгенерированных N ключевых точек. Окончательное уравнение выглядит так, как показано на рисунке ниже.
Результаты и сравнения
Давайте начнем с просмотра результатов сети, а затем мы сможем сравнить их с другими.
Будущее
Удивительные умопомрачительные возможности, уже продемонстрированные в статье «Модель движения сплайна на тонкой пластине для анимации изображений», вселяют в меня большие надежды на будущее. Сначала мы обсудим недостатки предыдущих моделей и проблемы, связанные с использованием аффинных преобразований. Во-вторых, добавление масок окклюзии с несколькими разрешениями используется для достижения более эффективного слияния признаков вместо одной маски окклюзии. Этот метод может хорошо работать на современных тестах.
Мы предоставляем возможность следующему поколению студентов-мыслителей, изобретателей и учащихся публиковать свои мысли, идеи и инновации в письменной форме.
Наши авторы охватывают все области тем — от Рост до технологий, вплоть до будущего и мира.
Так что, если вы чувствуете, что вот-вот прыгнете в кролика дыра в чтении этих невероятных статей, не волнуйтесь, мы чувствуем то же самое. ;)
Вот почему студенты x студенты — это место, где ваш голос будет услышан!
Звучит интересно? Почему бы не присоединиться к нам в этом эпическом путешествии?
