Захват - это не территория

Захват данных становится все более важным в создании мультимедиа, будь то захват производительности для актерского мастерства и анимации, захват экрана для машинимы и анимированных гифок, 3D-сканирование физических объектов для создания виртуальных моделей для игр или виртуального искусства или запись и повторное использование звук. Машинное обучение - это захват интеллекта. Алгоритмы обрабатывают большие данные, чтобы фиксировать предпочтения и привычки пользователей и предсказывать будущие результаты. Концепция захвата - это не только ремикс, но и подчеркивает получение изображения, звука, движения, практики и выбора. Capture ставит под сомнение самые основы правды, доверия, истории и журналистики.

Capture предоставляет данные, позволяющие предсказать, что может произойти дальше. Места, люди и предметы фиксируются в смоделированных средах, аватарах и персонажах, которые их населяют, а также в объектах, с которыми они взаимодействуют. Capture трансформирует то, что существует материально, и то, что создается в цифровом виде, переходя между абстрактным и конкретным, 2D и 3D, фотореалистичным и иконическим, созданием и разрушением, актуальным и виртуальным. Когда мы смотрим, слушаем, играем и творим в захваченном опыте, как создаются новые реальности и новые способы создания? Что запечатлено? Кем? Что можно выпустить? От чего можно уклониться? Или сбежать? Можем ли мы запечатлеть реальность, не будучи захваченным?

Можем ли мы запечатлеть реальность, не будучи захваченным?

Я работаю над Captured с момента творческого отпуска по Анимация и автоматизация в 2015–2016 годах. Я представил его на HubWeek в Бостоне на VR / AR / MR-сессии, которую мы проводили в Беркли, организованной Дивяншу Варшней. Я знаю, что проект охватывает темы аватаров, захвата производительности, машинного обучения / искусственного интеллекта, робототехники, неигровых персонажей, объемного захвата, платформ виртуального мира для обучения, обучения, развлечений, игр, социальных взаимодействий и многого другого. То, что фиксируется, является общей суммой всего, что будет происходить из экосистем, построенных для конвергенции кино, многопользовательских игр, инсталляций, хэппенингов, музыки, живых выступлений, мультимедиа, интерактивной фантастики, Dungeons and Dragons, социальных сетей и их большие данные, социальные сети и многое другое. . .

Это карта из рассказа Хорхе Луиса Борхеса О точности в науке, состоящего из нескольких абзацев, но не в виде карты. Я все еще не понимаю, какую форму должен принять проект. Это написано? У меня есть предложение по этой книге. Или сделать набросок, или рассказать дикими жестами, запечатленными в движении? Ах да, как аватар! Или это, как я подозреваю, целая виртуальная среда? Еще лучше: класс со студентами, которые экспериментируют с новыми технологиями, которые мы можем использовать для захвата, и мы вместе изучаем эту тему в проектах, сочетающих творческие и критические аспекты. Ну как, черт возьми, мне это сделать? (На самом деле у меня есть много идей, как это сделать.)

Я знаю, что захватываемое имеет отношение к виртуальной субъективности, которая начинается с переживания пребывания в теле. В двухмерном экранном опыте, в котором вы представлены аватаром, будь то от первого или третьего лица (когда вы видите свой аватар), вы должны представить, что находитесь в окружающей среде. Имея опыт использования гарнитуры в окружении на 360 градусов, в котором вы находитесь посередине, вы находитесь от первого лица. Вы можете посмотреть вниз и увидеть тело аватара или посмотреть в зеркало (и исследования в Лаборатории виртуального взаимодействия с людьми Джереми Бейленсона в Стэнфорде показывают, что просмотр своего аватара в зеркале может быть частью эффективного опыта как аватар).

Здесь имеет значение то, что в фильме 1999 года Матрица было названо остаточным самовосприятием: как вы думаете, что вы выглядите в своей голове. Я не верю, что у людей всегда (или когда-либо) есть объективный остаточный образ себя, но что он субъективен, отфильтрован и сформирован опытом воплощения. Виртуальный опыт может использовать различия между остаточным образом человека, его воображаемым виртуальным образом себя и всем, что он видит, когда и видит ли он свой аватар интересным образом. Интерактивное и иммерсивное искусство обладает огромным потенциалом для игры с многочисленными вариациями материальных и виртуальных тел и субъективностей, которые мы можем испытать. (Об этом я писал в очерке о виртуальном искусстве.)

Однако то, что представлено аватаром, - это нечто большее, чем самооценка или тело в воображении. Однажды я услышал, как назвали свое имя. Как обычно, я повернул голову и посмотрел назад, потому что голос исходил именно оттуда. Конечно, зачем я рассказываю вам эту историю? Потому что я стоял один в своем офисе в студии с гарнитурой Oculus Rift, а голос исходил от человека за 3000 миль. Я повернул голову, и в то же время мой аватар в High Fidelity повернул мне голову, и там был Том Шофилд, с которым я познакомился, когда был в Сан-Франциско за пару недель до этого. Он узнал мою аватарку и подошел поздороваться.

В тот момент, когда я повернул голову в виртуальный мир, чтобы увидеть, кто зовет меня по имени, я действительно воплотил свой аватар. Я повернул голову, я повернул голову аватара, или моя голова аватара повернула меня. Реальность того, что я делал в социальном плане, соответствовала тому, что я видел и (что более важно, но это тема для другого раза) слышал.

Я использую аватары для создания фильмов и рисования в виртуальных мирах более десяти лет, но до этого момента я никогда не чувствовал себя внутренне слитым с аватаром. То, что я испытал, лучше всего можно описать с помощью термина интерпелляция, который французский философ Луи Альтюссер использовал для процесса приветствия, с помощью которого человек превращается в субъект. Альтюссер привел пример человека, который оборачивается, когда полицейский кричит: Эй, ты! и благодаря этому простому физическому обращению в сто восемьдесят градусов он становится субъектом.

В зависимости от расы, пола, возраста и места, в котором находится тело, этот поворот имеет очень разные последствия; Когда я обучал концепции запроса через несколько дней после того, как безоружный темнокожий подросток Майкл Браун был застрелен белым полицейским в Фергюсоне, штат Миссури, идея Альтюссера приобрела новое значение.

Что значит перенести процесс становления субъектом на виртуальные платформы? Будет ли одержимость захватом повторять предубеждения? (Да. И у машинного зрения уже есть проблемы с тем, что видит черный и коричневый оттенки кожи одинаково хорошо или ценится как белый.)

Что значит перенести процесс становления субъектом на виртуальные платформы?

До вчерашнего дня, когда я увидел Видео проекта Codec Avatar от Facebook Reality Labs, в котором был показан аватар, неотличимый от человека, которого он представлял, я не думал, что захват будет происходить так быстро. Конечно, на следующей неделе Facebook не будет выпускать эти аватары. В течение некоторого времени у нас будут наши мультипликационные изображения, которые смогут найти золотую середину между абстрактным и графическим, которую Скотт МакКлауд нарисовал в Understanding Comics.

Путь влево от простого к сложному, от знакового к реалистичному, от субъективного к объективному, от универсального к конкретному, требует достижений в нескольких областях, помимо захвата аватара. На пару секунд данные аватара кодека занимают более 500 гигабайт. Но скоро фотореалистичный захват в реальном времени, и мне пора заняться Captured, в какой бы форме он ни принимался. Многое можно получить в погоне за реальным, и настоящее можно творчески и критически дополнять. Но что-то тоже потеряно. Захват - это не территория. Что значит поймать, быть захваченным? И как получить новый ответ на старый вопрос: кто решает, кто что делает? Кто захватит захватчиков?

Immerse - это инициатива MIT Open DocLab и The Fledgling Fund, финансируемая Just Films | Фонд Форда и Фонд Макартура. IFP - наш финансовый спонсор. Узнать больше здесь. Мы стремимся изучать и демонстрировать медиапроекты, которые расширяют границы медиа и решают вопросы социальной справедливости, и полагаемся на таких друзей, как вы, чтобы поддерживать себя и расти. Присоединяйтесь к нам, сделав подарок сегодня.