Взмах запястья: определение следующего поколения взаимодействия человека с компьютером
Ниже приводится письменная версия моего выступления на TedX Goldey Beacom в январе 2019 года. Они сняли его, и вы можете посмотреть его здесь!
В течение многих лет мы были очарованы идеей магии. Мысль о том, что кто-то взмахом палочки, щелчком пальца или какими-то особыми словами может в одно мгновение полностью изменить мир вокруг себя, - это идея, которая захватывала умы на протяжении всей истории.
Любая достаточно развитая технология неотличима от магии.
- Сэр Артур Кларк
Прямо сейчас мы живем в мире, где манипулируем всеми человеческими знаниями на экранах размером чуть больше кредитных карт. Готов поспорить, что у каждого в этой комнате есть устройство в кармане, которое обладает большей вычислительной мощностью, чем технология, которую мы использовали для отправки людей в космос. Что касается остальной истории человечества, все это произошло в мгновение ока. Трудно переоценить, как далеко мы уже продвинулись, даже при моей жизни.
С появлением расширенной реальности, машинного обучения и других новых технологий наши методы работы с компьютерами и друг с другом в ближайшие несколько лет существенно изменятся. Мы все в большей степени можем не только воспринимать цифровые миры в трех измерениях, но и взаимодействовать с ними и быть увиденными ими в ответ. Это, по сути, то, что развивается в области взаимодействия человека с компьютером.
Сегодня я собираюсь показать вам несколько исследовательских проектов HCI, которые раздвигают границы технологий. Я предлагаю вам заглянуть в будущее и посмотреть, как они фундаментально изменят наше взаимодействие с компьютерами, информацией и друг с другом.
Но сначала найдите момент, чтобы помечтать со мной. Сейчас 20XX, вторник.
Представьте, что вы ребенок, впервые изучающий химию. Помните изучение молекулярной геометрии? То, что атомы расположены в различных трехмерных формах, таких как тетраэдры и тригональные пирамиды? Вы должны были нарисовать их на бумаге, используя только карандаш и линейку, чтобы визуализировать эти абстрактные формы, составляющие фундаментальные части нашего мира.
Или, может быть, вам повезло немного больше, и вы разложили пластилин и зубочистки, как я в старшей школе. Они действительно грустные и чахлые.
Вместо этого дети в 20XX играют с голограммами, выстраивая голыми руками октаэдры и качели в космосе. Они могут интуитивно манипулировать атомными связями, играя с цифровыми представлениями, которые функционируют так же, как мы понимаем вещи на атомарном уровне.
Представьте, что вы отправляетесь в поход и видите великолепный горный пейзаж. Вдохновленный их красотой, вы достаете свой альбом для рисования, но у вас нет целой коллекции красок на вашем лице. Но это не имеет значения, когда вы рисуете тонкие шаткие линии, это превращается в живописный пейзаж прямо на ваших глазах.
Вы приходите домой с работы и погружаетесь в игру, которая, по сути, помещает вас в матрицу. Как одинокий герой, вы стоите один во враждебном мире. Вас окружают агенты, и вы медленно уворачиваетесь от пуль, используя все свое тело.
Теперь вы хотите сказать мне, что все это звучит безумно, требуя технологий, которых у нас нет, не так ли? Но оказывается, что «20XX» - это на самом деле 2018 год. Вот некоторые из вещей, которые мы сделали * в прошлом году *.
Приложение по химии - Project Pupil в Карнеги-Меллон.
Картина? Приложение от Мемо Актен.
Замедленный шутер? Super Hot, в которую можно буквально зайти в аркаду VR, чтобы поиграть * прямо сейчас *.
Итак, что это вообще такое? Как мы это делаем?
Для непосвященных XR используется как общий термин для описания континуума комбинаций реальных и виртуальных объектов, взаимодействующих в тандеме. Это включает в себя такие технологии, как виртуальная реальность, где вся ваша среда является цифровой, и дополненная реальность, где вы накладываете плоские изображения на реальный мир и любое промежуточное измерение.
Может быть, вы играли с примитивными системами дополненной реальности, такими как Pokemon Go…
Или посчастливилось опробовать продавцов систем виртуальной реальности вроде Beat Sabre.
Единственное, что объединяет технологии XR, - это то, что они используют компьютеры для формирования вашего восприятия. XR как спектр может поместить вас в совершенно новую и иную среду или просто добавить информацию в реальный мир.
Машинное обучение, по сути, использует определенные алгоритмы, чтобы научить компьютеры решать проблемы. Он используется в самых разных приложениях, от освоения го…
… К питанию мозга беспилотных автомобилей,
… Генерировать кошек из нескольких строк.
Я нарисовал последний, он наверное в порядке.
Есть много увлекательной работы с использованием машинного обучения, чтобы увидеть мир глазами компьютера.
Мы можем использовать искусственный интеллект и показать ему части мира. Мы можем показать им наши тела, наши картины, как объекты взаимодействуют, увидеть, что они придумывают, и использовать это для формирования нашего восприятия. Машинное обучение способно разобраться в огромном объеме информации в реальности, а XR поможет нам увидеть ее более четко.
Я чувствую, что некоторые из самых захватывающих разработок были достигнуты благодаря исследовательским проектам с открытым исходным кодом и государственным финансированием.
OpenPose - это исследовательский проект в Карнеги-Меллон, который использует машинное обучение для обнаружения тел на отдельных изображениях.
Он использовался в качестве основы для другой работы, включая исследовательские проекты, которые помогают погрузить все ваше тело в виртуальную реальность…
… И помочь вам (или хотя бы видео с вами) исполнить замысловатые балетные танцы.
Pix2Pix - это проект в Беркли, который использует нейронные сети для генерации изображений на основе данных обучения.
В дальнейшем он был переработан в приложения, которые превращают изображение с веб-камеры в цветы…
… Или превратите фотографии горизонта Уилмингтона в великолепные картины, имитирующие Ван Го.
Project North Star - это гарнитура дополненной реальности, которую можно буквально распечатать на 3D-принтере в любой точке мира. Вокруг поиска и создания этих гарнитур растет сообщество, и я думаю, что мы увидим несколько интересных приложений, когда оно станет более доступным.
Все это с открытым исходным кодом, так что любой может взять свою работу и построить на ее основе все виды приложений, которые у него есть.
«Они» включают меня.
Сейчас я строю свою собственную Полярную звезду. Некоторые детали мне удалось распечатать на 3D-принтере в Университете Делавэра, другие были получены от членов сообщества, которые возникли вокруг проекта. По большей части это произошло во время летней программы для студентов UD, где мне потребовалось 10 недель, чтобы изучить основы разработки XR. После начала семестра я превратил этот опыт в студенческий исследовательский проект, направленный на то, чтобы собрать студентов междисциплинарных дисциплин вместе для разработки приложений XR.
Буквально на прошлой неделе я был на хакатоне Reality Virtually в медиа-лаборатории Массачусетского технологического института. Я объединился с более чем 400 другими разработчиками, художниками, дизайнерами и кодировщиками для создания приложений XR.
Единственным правилом для всех проектов на хакатоне было то, что они должны быть с открытым исходным кодом, чтобы любой человек во всем мире мог взять то, что они сделали, и создать новые интересные приложения. Вместе мы сделали чуть менее 100 проектов XR, включая инструменты для физиотерапии и специальные возможности, а также игры и интерактивное искусство. Моя команда сделала VR-квест менее чем за 5 дней, а мой советник Dr. Проект физиотерапии Бармаки победил в номинации Лучшее приложение для виртуальной реальности .
На мой взгляд, эта технология действительно объединяется в концепцию Зеркальных миров.
Вместо того, чтобы покидать ваше физическое пространство, эта технология поможет преобразовать его вокруг вас в другое параллельное измерение. Стулья превращаются в горы, стены в закаты, а пол - это лава превращается из простой детской игры в интуитивный опыт. Вы можете взаимодействовать с цифровыми объектами так же, как и с физическими, и взаимодействовать с физическими объектами с еще большим эффектом. Ваше окружение может показать вам, как оно работает, а предметы покажут вам, как их использовать. Гитара может научить вас играть сама, показывая, где лучше всего держать ее, чтобы играть определенные аккорды. Или объекты могут полностью измениться, поскольку столы превращаются в сенсорные экраны, а карандаши - в жезлы.
Пришло время переключить разговор с того, как должна выглядеть система AR, на то, как должна выглядеть AR-система.
- Дэвид Хольц
Вопрос больше не в том, «как мы можем заставить это работать?» а скорее «как это должно ощущаться?» Мы находимся на этапе истории, когда то, что считалось «волшебством», реально. Это здесь, и это сейчас. Итак, я оставляю вас с этим:
Что ты будешь с этим делать?
Я прочитал много, много, * много * вещей, чтобы подготовиться к этому, чтобы создать что-то, слегка напоминающее повествование для этого выступления. Я сделал все возможное, чтобы сохранить источники, большинство из которых имеют ссылки повсюду, но не стесняйтесь проверять источник для получения полного списка. Этот пост также доступен на моем сайте alinac.me.
У меня также есть список рассылки! Подпишитесь, если вы хотите получать от меня сообщения по электронной почте на alinac.me/subscribe
