ИИ Netflix съест визуальные эффекты …

ИИ Netflix съест визуальные эффекты…

Или нас может спасти мягкая революция?

Контент, не связанный с COVID-19.

Учитывая внезапный сдвиг в социальных нормах, стоит отметить, что пандемия усиливает и приводит к дальнейшим реальным изменениям в нашей отрасли. А пока мы возьмем передышку от вопросов пандемии и позволим этому обсуждению продолжаться, не помня о нем.

Будьте здоровы и остановите распространение.

Представляем NetFX.

Если вы не слышали, Netflix разрабатывает платформу VFX под названием Netfx.

Платформа Netfx предназначена для подключения художников VFX, распределенных по всему миру, к их новой домашней студии, облачному объекту VFX, где художники работают непосредственно над своими постановками.

Фантастика… Некоторые из вас могут подумать, и правильно. Во многих отношениях это будет освобождать работать непосредственно для клиента; меньше менеджеров среднего звена и творческого разбавления, и все это из любого места, которое мы выберем! Однако на этой картинке есть еще кое-что, давайте увеличим масштаб и улучшим.

Netfx, несомненно, зафиксирует все художественные решения и данные, а мы будем работать непосредственно в их облачной песочнице. Теперь рассмотрим, что происходит, когда большие технологии получают доступ к «большим данным».

За прошедшие годы Netflix разработал очень сложную технологию. Арчер, их система искусственного интеллекта выполняет черную работу в огромных масштабах. Простые вещи, такие как определение битых пикселей на снимках и множество других рутинных задач. Круто, звучит удобно, верно? Абсолютно.

Давайте экстраполируем эту технологию, используя другие разработки машинного обучения, которые мы видели в последнее время.

Некоторые из вас сейчас могут подумать о GAN, известных тем, что они использовались для создания дипфейков. Это, безусловно, путь для разработки новых инструментов, которые помогут художникам.

С точки зрения Netflix, наверное, не так уж и выгодно разрабатывать подобные инструменты. На данный момент Netflix не работает на рынке разработки программного обеспечения, и мы предполагаем, что их мотивы чисто скалярны. Хотя я не удивлюсь, если мы увидим крупное приобретение от Netflix, скажем, The Foundry или Blackmagic. Однако мотивация в первую очередь будет заключаться в использовании в машинном обучении, а не в традиционной разработке программного обеспечения.

Данные, которые собирает Netfx, значительно более ценны для использования при разработке «Emergent Tool».

Грубо говоря, Netfx будет собирать данные о фактическом процессе принятия творческих решений. Тогда машины могли бы «обучиться» этому процессу и внедрять в него инновации.

ИИ/машинное обучение

Звучит надуманно, так что давайте немного раскроем это. Некоторые из нас могут знать о проектах искусственных нейронных сетей, таких как AlphaGo (и его преемниках). AlphaGo играет в очень сложную и творческую игру Го на беспрецедентном уровне, обыгрывая лучших людей до неузнаваемости. По своей сути AlphaGo использует алгоритм для выполнения своих ходов в игре. Алгоритм был разработан на основе изучения ранее сыгранных людьми игр и данных о самостоятельных играх (игры, в которые компьютер играл против себя снова и снова).

OpenAI недавно провел аналогичный обучающий процесс «компьютерной игры» в простой игре прятки. Позвольте машине постоянно практиковаться и учиться у себя.

Результаты ошеломляют, когда казалось, что препятствия были преодолены, алгоритм нашел новые и новые способы улучшить динамику игрового процесса, как и AlphaGo.

Глубоко о художественных решениях в визуальных эффектах

Думайте о программном пакете как об игре, теперь давайте теоретически обучим на нем алгоритм. Возьмем, к примеру, программу композитинга (но это может быть применимо к любому отделу).

Если у нас есть миллионы повторных рендеров компа и соответствующие скрипты компа. Теоретически мы могли бы достаточно долго тренироваться на всех этих данных и разработать довольно удобный инструмент Autocomp. Autocomp настраивает вас на очень продвинутый «шаблон» сценария компоновки. Художнику остается вмешиваться только в последние 10–15%, в зависимости от того, насколько производным является «внешний вид» фильма. Оригинальный стиль потребует большего вмешательства человека, потому что алгоритм создает исключительно из того, что он «увидел» раньше. Что касается более примитивных снимков типа «хлеб с маслом». По сути, они стали бы прямыми финалами прямо из коробки. Конечно, это экстраполяция, основанная на траектории последних инструментов, таких как контекстно-зависимая заливка и Rotobot.

При переходе?

Возможно, на каком-то этапе мы будем эквивалентом водителя Uber или Tesla. Которые снабжают Uber и Tesla необходимыми данными, необходимыми для запуска автопарка автономных автомобилей и замены водителей. Разница между двумя приведенными здесь примерами заключается в том, что водители Tesla на самом деле хотят быть перемещенными, а водители Uber — нет. Художники визуальных эффектов, с другой стороны, хотят только отвлечься от задач, которые являются трудоемкими в цифровом виде.

Крупные магазины визуальных эффектов уже собирают данные?

Возможно, мы знаем, что старший научный сотрудник Weta — Эндрю Гласснер, известный исследователь глубокого обучения. Так что, безусловно, создаются инструменты и системы, но обработка действительно больших данных обходится очень и очень дорого. Поэтому вполне вероятно, что на данном этапе амбициозные проекты машинного обучения останутся зарезервированы для действительно крупных игроков, таких как Amazon и Netflix.

Единственное преимущество средств VFX заключается в том, что они владеют существующими архивами данных. Эти архивы представляют собой груды скрытой интеллектуальной собственности. По мере того, как обучение становится дешевле или когда крупный технологический игрок приобретает эту интеллектуальную собственность, мы можем ожидать неизбежных изменений в нашей отрасли. Переход, скорее всего, будет постепенным, а затем внезапным. Что-то типа

автоматизированная задача, автоматизированная задача, автоматизированные отделы… Бум!!

Весь конвейер визуальных эффектов в большинстве своем автоматизирован искусственным интеллектом.

Netflix сначала освободит нас от традиционной модели, работая под управлением поставщика визуальных эффектов. Затем освободите большинство из нас, художников, от всей индустрии, когда машины завершат сенсационное поглощение. В этом будущем кадровый резерв, необходимый для завершения шоу VFX, будет значительно меньше, особенно если учесть другие надвигающиеся технические достижения, такие как рендеринг в реальном времени.

…но что мы делаем!

Расслабься, правда. Это не обязательно означает, что актуальной работы для нас, художников, станет меньше.Это не прогноз конца света для индустрии. Наоборот. Наша отрасль основана на изобретениях и инновациях. По мере того, как делалось все больше и больше достижений, спрос на все больше и больше контента следовал за ними. Демократизация визуальных эффектов будет продолжаться, и мы будем продолжать видеть, как визуальные эффекты становятся все более и более неотъемлемой частью производства.

Я сравниваю демократизацию пленочных камер с появлением цифровых. Будь то кино или фотография. Все, что действительно изменилось в этих отраслях, — это более широкий доступ к творчеству и более широкий спрос на контент. Фотографы и кинематографисты могли свободно раздвигать границы и оставаться в безопасности от экономических рисков, пока они оставались актуальными.

В этом мире, где вступает в действие искусственный интеллект, я вижу, как роли VFX становятся частью реальной команды на съемочной площадке/локации с производством. Небольшие команды визуальных эффектов работают вместе как с производственной командой, так и с редакцией в режиме, близком к реальному времени. Поворот вокруг будет становиться все быстрее и быстрее. Но в хорошем смысле, который поддерживает состояние творческого потока, к которому стремятся художники.

Попытаться пророчествовать и подготовиться к возникающим сценариям одновременно весело и необходимо. Важно поддерживать устойчивое интеллектуальное и эмоциональное состояние во время изменений, чтобы получать удовольствие от процесса.

Но я не хочу, чтобы меня съели?

У Netflix есть команда Netfx.
У Weta есть Гласснер и его команда супер умных ученых-компьютерщиков. В других магазинах тоже будут команды.
Amazon… Кто, черт возьми, знает, что задумали Безос и его банда, но это должно быть огромно, потому что это, блядь, Amazon!
У традиционных киностудий есть некоммерческие «MovieLabs».
А мы, независимые художники визуальных эффектов? Ну, мы не в игре, но нам не хватает таланта и блеска, так что мы можем быть.

Мы можем объединить наши знания и объединить наши умственные способности, чтобы создать собственную инициативу. У него может не быть финансовых возможностей, чтобы захватить власть в отрасли, и это может показаться утопией, но оглянитесь на историю, и вы увидите огромные преимущества инициатив с открытым исходным кодом.

Wordpress, например, является протоколом с открытым исходным кодом, на котором построено более трети современного основного Интернета.

Проявив немного упорства и дух открытого исходного кода, мы можем сформулировать себя таким образом, чтобы помочь ориентироваться в этих новых водах. Создание некоммерческого аналитического центра и сообщества, полезного как для художника, так и для всей индустрии визуальных эффектов.

Это не решение, это просто путь, и путь, который лично меня очень волнует. Мы не можем предсказать, что произойдет, но мы можем повлиять на результат.

Что мы в настоящее время знаем, так это то, что машинное обучение может основывать свои решения только на прошлых данных. Поэтому ему не хватает творческой и творческой чувствительности, и он не может интуитивно улавливать тенденции. Эта способность мечтать по-прежнему принадлежит людям и является силой художника.

Пришло время вернуть искусство в VFX Artist!

Как вы думаете, куда идут дела?

Вы в восторге от модели Netfx с более независимой командой без местоположения?

Как вы думаете, возможно ли объединиться и создать инициативу по независимости визуальных эффектов?

Спасибо за чтение и спасибо членам сообщества, которые помогли написать эту статью.

Увидимся в будущем :)

……..

Ссылка

Нетфкс

https://jobs.netflix.com/jobs/870588

Лучник https://netflixtechblog.com/simplifying-media-innovation-at-netflix-with-archer-3f8cbb0e2bcb

ГАН