Путешествие одного человека в мир видео, созданных с помощью искусственного интеллекта

Deepfakes - это современная версия смены лица, которую люди годами делали в Photoshop. Благодаря недавним достижениям в области искусственного интеллекта, теперь его можно автоматизировать и применять к видео. Во-первых, глубокое обучение используется для создания компьютерной модели каждого из двух лиц путем загрузки в нее образцов видео. Затем вы загружаете целевое видео, и при нажатии кнопки пиксели лиц переносятся.

Однако, как и в большинстве случаев в жизни, это никогда не бывает так просто, как кажется. Для этого вам понадобится дорогой ПК с современной видеокартой. Также необходимо установить специальное программное обеспечение, такое как DeepFaceLab (Python, open-source) и научиться им пользоваться. Кроме того, в большинстве случаев возникают проблемы с выравниванием лиц и другие проблемы, которые необходимо исправить вручную при постобработке после вывода черновой версии.

Моей целью при создании дипфейка было добавить его на свой сайт BoredHumans.com, который полон демонстраций ИИ, которые люди могут использовать и просматривать в Интернете. Хотя я мог бы попытаться выполнить всю работу сам, у меня очень ограниченный опыт редактирования видео, так что это не казалось реалистичным. Вместо этого я пошел на Fiverr.com и нашел сотрудников, готовых создавать дипфейки по цене от 5 до 100 долларов. Существует целая культура дипфейков, примером которой является субреддит дипфейков (SFW), где люди делают это как хобби, а не ради денег. Это сделало наем кого-то не так дорого, как я ожидал.

Одним из ключевых компонентов создания хорошего дипфейка является не только владение технической частью, но и создание хорошей концепции. Например, замена Дональда Трампа и Барака Обамы может быть интересной, но заменить Меланию Владимиром Путиным было бы намного лучше.

Моя идея заключалась в том, чтобы сделать фильм с участием Илона Маска, потому что он часто говорит о будущем искусственного интеллекта, и поместить его в фильм было бы забавно и неожиданно, поскольку он не актер. К тому же у него, кажется, хорошее чувство юмора к таким вещам.

В 2018 году Маск был вовлечен в споры, когда он курил травку (законно) в подкасте Джо Рогана, поэтому я решил поместить его в антинаркотический фильм 1938 года Безумие рефрижератора, который, к счастью, находится в открытом доступе (без авторских прав).

Процесс создания этого видео прошел довольно гладко, и я самостоятельно смог отредактировать 4-х минутные необработанные кадры, созданные моделью ML, в этот 30-секундный клип с лучшими кадрами (в основном это связано с использованием хорошей камеры. углы). Однако после этого все стало усложняться.

Меня внезапно охватили новые идеи для дипфейков. Чтобы отметить те странные времена, в которых мы все живем сейчас, я придумал следующее:

Гарри Поттер: Мальчик в пластиковом пузыре
Волшебная история любви, надежды и социального дистанцирования.

Он будет основан на снятом для телевидения фильме 1976 года, получившем премию Эмми, Мальчик в пластиковом пузыре, который был вдохновлен реальной историей Дэвида Веттера, который родился с ослабленной иммунной системой и должен был прожить свою жизнь в пластиковый пузырь, чтобы не заболеть.

Я был в восторге от того, что был таким умным. Но, конечно же, когда я создал демо-ролик, возникла проблема. Гарри Поттер носит очки, а Джон Траволта (актер в фильме) - нет, поэтому компьютер попытался удалить очки. И что еще хуже, Джон Траволта - крупный парень с большим лицом, а Гарри Поттер - маленький ребенок с маленьким лицом. Это совсем не хорошо сочеталось, см. Снимок экрана ниже:

Я был полон решимости спасти эту концепцию, поэтому затем я попытался заменить Джона Траволту на Логана Пола, известного ютубера с лицом / телом, больше похожим на мистера Траволту (мой потенциальный слоган был: В мире карантина и социального дистанцирования, один молодой человек борется, чтобы остаться в живых (Логан Пол играет мальчика в пластиковом пузыре). Это также не сработало, так как не удалось уловить сущность Логана, как показано на этом снимке экрана:

К настоящему времени я был разочарован, но не попал в список. У меня уже были готовы все видео / фотографии Логана Пола, так почему бы не использовать его для чего-нибудь еще? Логан недавно снял видео, в котором он переоделся в эмо, поэтому я решил включить его в классический клип в стиле эмо Welcome to the Black Parade от My Chemical Romance в качестве замены вокалиста (Джерарда Уэй) ). На этот раз я попытался сделать дипфейк самостоятельно, но безуспешно. Я даже не стал бы публиковать скриншот, потому что лицо Джерарда Уэя почти не изменилось. Я не уверен, было ли это из-за того, что я не знал, что делаю, или из-за того, что почти в каждом кадре музыкального видео было много лиц, и это все испортило.

Прежде чем у меня появилось время выяснить, что пошло не так, я понял, что существует гораздо более серьезная проблема. YouTube имеет систему для обнаружения музыки в видео и автоматического сравнения ее с их базой данных, содержащей миллионы песен. Если он находит совпадение, даже используя всего несколько секунд песни (это все, что я собирался использовать), это проблематично, потому что они отправляют заявку Content ID. В зависимости от условий лицензирования песни это означает, что она либо будет заблокирована (она останется в вашей учетной записи, но другие люди не смогут ее смотреть), либо они будут показывать ее с рекламой (при этом доход будет поступать держателю лицензии). . Иногда можно обойти проблему с блокировкой, чтобы вместо этого записать собственную кавер-версию песни, но это не сработает для того, что я планировал с музыкальным видео.

Я еще не сдался. Мне еще нужно снять еще несколько видео и попробовать еще больше безумных идей. Когда я стою на краю технологической горы и смотрю в будущее, меня все это ошеломляет и сбивает с толку. Тем не менее, я устало выхожу, испытывая новое чувство удивления и волнения по поводу будущего.