Обучение химии и биологии с использованием дополненной реальности Commodity Web - на любом устройстве!

Благодаря современному образовательному контенту с использованием стандартной веб-дополненной реальности на нашем веб-сайте molculARweb и в Google, студенты, преподаватели и научные коммуникаторы теперь могут легче видеть, понимать, общаться и взаимодействовать с самыми сложными концепциями химии и биологии. Бесплатно, используя свои смартфоны, планшеты и компьютеры на нескольких языках.

Показатель

=== Представленные здесь новые инструменты включают в себя вклад, в основном, от Фабио Кортеса и других сотрудников лаборатории Дала Пераро в @EPFL. ===

1. Введение

  1. Действия, доступные в MoleculARweb, и способы их использования
  2. Примеры 3D-объектов, доступных в Google для изучения в дополненной реальности
  3. Пример использования в научной коммуникации: от атомов к тканям и обратно к атомам
  4. Заключительные замечания
  5. Ссылки и ссылки
  6. Печать и подготовка маркеров: https://youtu.be/Fo0WpTmUJ4s

2. Действия, доступные в MoleculARweb, и способы их использования

В последние годы технологии виртуальной реальности (VR) и дополненной реальности (AR) становятся все более доступными, стимулируя многие группы к разработке программного обеспечения, которое объединяет лучшее из виртуального мира с лучшим из физического мира с точки зрения манипулирования молекулами и визуализации. . Сегодня существует разнообразное предложение таких приложений, в которых определены некоторые ограничения в отношении их использования: с одной стороны, наиболее полные программы обычно требуют специального оборудования, которое при подключении к компьютеру обеспечивает очень захватывающий VR или AR, но стоимостью от сотен до тысяч долларов, что делает немыслимым достижение широкого охвата студентов и преподавателей даже в развитых странах. С другой стороны, возможность достижения дополненной реальности на современных телефонах, планшетах и ​​компьютерах, просто используя веб-камеру этих устройств, позволяет любому пользователю достичь этого опыта, который менее захватывающий, чем на гарнитуре VR, но намного лучше, чем использование стандартная компьютерная графика; и, что более важно, они позволяют лучше контролировать визуализацию и изучаемые объекты в пространстве. Но даже здесь у большинства доступных программ есть проблемы: почти все они представляют только статические дисплеи, практически не взаимодействуя с пользователем; Кроме того, почти все эти программы и приложения должны быть установлены, что может быть невозможно в общих системах, где пользователи не имеют прав администратора, или пользователь может просто не захотеть или не доверять установке приложений.

Пытаясь объединить лучшее из виртуального и реального миров доступным и удобным способом, мы (я и инженер WebXR Фабио Кортес) разработали веб-сайт под названием молекулярный ARweb («https: // молекулярный веб. epfl.ch »), который предлагает серию AR-мероприятий, полезных для преподавания и изучения различных концепций химии и молекулярной биологии. (2,3) Мероприятия охватывают темы от общей и неорганической химии до структурной биологии, органической химии и физической химии. Сайт состоит не из разовых заданий, а из инструментов, с помощью которых преподаватели могут демонстрировать и устанавливать упражнения для своих учеников. Каждое действие на сайте molculARweb использует набор маркеров (рис. 1A), которые распечатываются на обычных принтерах, вырезаны, сложены и склеены, как показано в обучающих видео на домашней странице. При входе на веб-страницу для каждого действия пользователь должен разрешить веб-браузеру использовать веб-камеру и отображать напечатанные маркеры на веб-камере. Система разместит виртуальные объекты, относящиеся к деятельности, на маркерах, которые пользователь затем может перемещать, чтобы манипулировать ими в пространстве (рис. 1B).

Как показано в разделе 2, деятельность в молекулярной сети охватывает от самых фундаментальных химических процессов (атомы, молекулы, их орбитали, механика и взаимодействия) до структуры сложных биологических молекулярных ансамблей (рибосомы, нуклеосомы, вирусные частицы). И, как мы продемонстрировали в разделе 3, портал Google предоставляет любому пользователю с современным смартфоном или планшетом модели, начинающиеся всего на один уровень выше биологических молекулярных сборок по шкале биологической сложности: от органелл (митохондрии, аппарат Гольджи) до клеток. , ткани и системы (лимфатическая, нервная и др.) и даже несколько полных моделей живых существ. Хотя эти модели гораздо менее интерактивны, чем модели молекулярного веб-сайта, они расширяют его содержание, чтобы включить его в область биологии. Таким образом, вместе два инструмента (MoleculARweb и модели, предоставленные Google) плавно охватывают от химии к биологии, как мы проиллюстрировали в разделе 4, с путем, соединяющим концепции на атомном уровне с моделями сложных биологических систем, вдохновленных реальной предлагаемой деятельностью. посетителям открытого научного мероприятия.

Содержимое молекулярного веб-сайта разделено на 4 тематических модуля, которые мы представляем здесь с некоторыми обновлениями по сравнению с версией, выпущенной в 2020 году, плюс то, что мы назвали «Набор для виртуального молекулярного моделирования», из которого мы представляем здесь прототип новой версии. Тематические модули: «Орбитали и молекулярные формы», «Водородные связи, кислоты и основания», «Атомная структура биологических макромолекул» и «Большие биомолекулярные сборки». Каждый модуль включает в себя несколько мероприятий, которые мы описали в недавней статье (2), а некоторые из них мы представляем в видеороликах на канале YouTube «Молекулы в веб-дополненной реальности» (4). Действия в этих модулях (раздел 2.1) работают с двусторонними маркерами, которые можно распечатать по ссылке, приведенной на рисунке 1A. Некоторые из этих занятий также имеют безмаркерный режим, менее интерактивный, но более захватывающий (раздел 2.3). С другой стороны, набор для виртуального молекулярного моделирования (раздел 2.2) использует кубические маркеры, которые также можно загрузить, где показано на рисунке 1A (плюс, некоторые пользователи предоставляют способы 3D-печати кубических маркеров в «Thingiverse»!). В комплекте молекулярного моделирования кубические маркеры позволяют загружать любую пару молекул с их атомными координатами, чтобы визуализировать их в дополненной реальности, даже моделировать их движения и видеть, как они сталкиваются и взаимодействуют.

3. Примеры 3D-объектов, доступных в Google для изучения их в дополненной реальности.

2.1 Действия с плоскими маркерами на смартфонах, планшетах и ​​компьютерах с веб-камерой
Все действия поддерживают режим, в котором виртуальные объекты перемещаются с помощью маркеров, которые пользователи могут распечатать на обычном принтере. Когда пользователь показывает маркеры на веб-камеру, веб-приложение обнаруживает закономерности и помещает соответствующий виртуальный объект (-ы) сверху. Когда пользователь впервые обращается к активности, браузер спрашивает, разрешено ли использование веб-камеры; это должно быть включено.

Примеры действий. На рисунке 2 показан пример действия для каждого модуля, а также различные режимы использования. На рис. 2А показана гибридная орбиталь sp³d (упражнение «Атомные орбитали и теория VSEPR» из модуля «Орбитали и молекулярные формы»), управляемая с помощью телефона, при этом снимок делается непосредственно как снимок экрана. На рис. 2В показано, как можно манипулировать двумя молекулами воды, просматривая их через телефон (действие «Равновесие протонирования воды» из модуля «Водородные связи, кислоты и основания»); в данном случае с внешней фотографией, но которую вполне можно было бы сделать прямо как снимок экрана с самого телефона. На рис. 2С показан пользователь, прикрепляющий молекулу ДНК к молекуле белка (активность «Комплекс белок-ДНК» из модуля «Атомная структура биологических макромолекул») на компьютере, который имеет только переднюю камеру, поэтому он функционирует только как зеркало. На рисунке 2D показано учебное пособие по нуклеосомам со встроенным маркером, чтобы учащийся мог визуализировать его прямо на смартфоне («Нуклеосомная активность» из модуля «Большие биологические сборки»).

Элементы управления. На рисунке 3A показаны наиболее распространенные элементы управления для всех действий, на примере смартфона, где их гораздо больше. Некоторые из этих элементов управления выделены здесь с их возможными утилитами. Во-первых, в случае наличия нескольких веб-камер, например, в телефонах с передней и задней камерами, пользователь может переключать их в режиме реального времени во время работы. Другой элемент управления инвертирует только изображение, что может быть полезно, например, при изучении энантиомерии (рис. 3B, пример взят из набора для молекулярного моделирования). Между тем, элементы управления вращением позволяют точно настраивать ориентацию объекта без перемещения маркера, что может быть полезно, например, когда маркер встроен в документ, подготовленный преподавателем, как показано на рисунке 2D.

У каждого действия есть определенные элементы управления, обычно внизу, чтобы пользователь мог выбирать между вариантами. Например, на рисунке 3A показан вид смартфона, где внизу показаны варианты выбора орбитали какой молекулы для визуализации, а также элемент управления, который активирует вращение вручную и указывает активность. Кроме того, действия со статическими дисплеями имеют кнопку с текстом «3D» в правом нижнем углу, которая активирует безмаркерный режим, описанный в разделе 2.3. Наконец, в комплекте виртуального моделирования есть несколько специальных элементов управления, описанных в разделе 2.2.

2.2 Набор для виртуального моделирования с кубическими маркерами, также на телефонах, планшетах и ​​компьютерах с веб-камерой

Набор для виртуального моделирования позволяет пользователям загружать любую молекулу из ее атомных координат, отображать ее в 3D на бумажном или картонном кубе, который пользователь может свободно перемещать и вращать. Благодаря шести сторонам он обеспечивает лучшую управляемость и визуальную стабильность, чем плоские маркеры. В дополнение к отображению молекул, набор для моделирования включает очень простое силовое поле, которое позволяет визуализировать конформационные изменения, вызванные взаимодействием тепловых флуктуаций. В исходной версии набора для виртуального моделирования используется куб, образованный буквами A, B, C, D, F и символом на рисунке 1A. Тестовая версия 2.0 комплекта для виртуального моделирования работает с одним или двумя кубическими маркерами на рисунке 1A (один маркер такой же, другой состоит из букв J, K, M, N, L и P), позволяя независимо контролировать до двух молекул.

С помощью набора для молекулярного моделирования пользователь может загрузить любую молекулу из ее атомных координат на каждом кубе. Атомарные координаты могут быть взяты из предустановленного списка или созданы извне (в версии 1) или даже внутри самого действия (в версии 2). Некоторые элементы управления изменены в версии 2; например, инверсия координат может выполняться специально для каждого маркера, позволяя загрузить одну и ту же хиральную молекулу на оба куба, а затем инвертировать ее только на одном, что полезно для сравнения хиральности.

Кроме того, версия 2 комплекта для моделирования включает очень простое силовое поле, которое вычисляет и отображает взаимодействия между молекулами, как столкновения, так и притяжения. На рисунке 4 показан прототип версии 2, где каждый куб показывает разные молекулы, обе взаимодействующие через два водородных мостика, обнаруженные в реальном времени. Теперь читатели могут получить доступ к этой версии прямо с домашней страницы сайта molculARweb.

В будущем Medium я расскажу о предстоящих версиях Virtual Modeling Kit. Следите за обновлениями, потому что он имеет множество функций и огромный потенциал для обучения!

2.3 Просмотр моделей «в вашем пространстве» без маркеров на смартфонах, поддерживающих WebXR

На современных смартфонах, поддерживающих WebXR (большинство телефонов, доступных по состоянию на 2018 год), действия, не содержащие интерактивного контента, также могут выполняться в безмаркерном режиме. В случаях, когда этот режим доступен, пользователь увидит значок «3D» в правом нижнем углу экрана. При нажатии на действие отображается промежуточный экран с рассматриваемым объектом и кнопка, активирующая режим AR (на английском языке это «See in my environment»). При входе в этот режим пользователь должен сканировать пол, стол или любую другую плоскую горизонтальную поверхность; программа затем поместит виртуальное представление объекта и оставит его статичным в одном месте, даже если пользователь перемещается. Это позволяет пользователю исследовать объект под любым углом и даже «входить» в объекты, чтобы увидеть детали. Все это сопровождается возможностью делать скриншоты и записывать видео из внешней программы, установленной на телефоне, например «AZ Screen Recorde» r.

На рисунке 5 показано, как активировать безмаркерный режим AR для модели рибосомы, построенной из экспериментальной структуры, где она была захвачена одним сегментом информационной РНК и двумя сегментами транспортной РНК. Издалека пользователь может видеть общую форму рибосомы, основные субъединицы и ее белковые и нуклеиновые компоненты. Но пользователь также может подойти ближе и даже внутрь рибосомы, чтобы проанализировать ее детали, как, например, здесь кодон мРНК, взаимодействующий с кодоном одной из тРНК (в каждой молекуле РНК каждое основание представлено палочкой).

Та же безмаркерная технология AR, описанная выше, используется Google для предложения широкого спектра образовательного контента с дополненной реальностью, открыто предоставляемого третьими сторонами. Выполняя поиск на телефоне с поддержкой WebXR, Google будет возвращать прямые ссылки на предопределенные трехмерные объекты (обратите внимание, что поиск работает только на английском языке; то же самое верно и для аннотаций к моделям). На рис. 6 показаны примеры поиска «мышечной системы» (рис. 6А) или понятий, связанных со структурами сосудистых растений (рис. 6В). Как и в безмаркерных моделях AR в молекулярном ARweb, в моделях Google пользователь может свободно перемещаться вокруг объекта, когда он прикреплен к обнаруженной поверхности. Это позволяет детально исследовать определенные структуры, как показано на обеих панелях рисунка 6 (детали прикрепления сухожилия на 6A и детали хлоропласта на 6B).

4. Пример использования в научной коммуникации: от атомов к тканям и обратно к атомам.

Наконец, на рисунке 7 мы проиллюстрируем, как интегрировать некоторые из действий AR, представленных в предыдущих разделах, в полноценный опыт для понимания структуры живой материи на разных уровнях сложности. Этот конкретный пример начинается с изучения взаимосвязи между состояниями протонирования и зарядов, за которым следует визуализация электростатических взаимодействий, которые стабилизируют комплексы ДНК-белок, затем визуализация того, как они собираются в нуклеосомы, затем видение хромосом в ядре клетки и медленное уменьшение масштаба, чтобы увидеть целая клетка, затем кровеносная система в качестве примера тканевого уровня и, наконец, возвращение к клетке, митохондрии, гемовой группе белка и, наконец, орбитали 3dz² атома.

5. Заключительные замечания.

С момента выпуска молекулярный ARweb получил более 26 000 обращений в школы и дома по всему миру (рис. 8) благодаря своей доступности на нескольких языках, работе с мобильными устройствами и обычными компьютерами, а также легкому прямому доступу через Интернет, как любой другой. веб-сайт, потому что он основан исключительно на веб-программировании (6-8). Опубликованные тесты (9), автоматизированная онлайн-статистика, наши собственные личные оценки и отзывы, полученные от учителей старших классов и университетов, демонстрируют простоту использования платформы MoleculARweb и ее педагогические возможности. В этом смысле многие учителя подчеркнули важность наличия этого инструмента, поскольку он улучшает восприятие, взаимодействие и, прежде всего, мотивацию со стороны учащихся, что имеет решающее значение для облегчения понимания и изучения концепций, которые трудно визуализировать, как по химии, так и по химии. биология.

6. Ссылки и ссылки

Google и компании, занимающиеся созданием контента, постоянно добавляют новые модели, в том числе анимированные модели биологических процессов и даже целых животных. Эти технологии обеспечивают более захватывающее дидактическое обучение, чем когда-либо прежде, доступное любому, у кого есть только смартфон и подключение к Интернету. Со своей стороны, в настоящее время мы завершаем набор для виртуального молекулярного моделирования, чтобы официально выпустить его версию 2.0 и создать систему, с помощью которой преподаватели смогут создавать свой собственный веб-контент AR для более сложных объектов. В будущих статьях я более подробно расскажу о различных модулях молекулярного веб-сайта и, возможно, об аспектах программирования вместе с главным разработчиком Фабио Кортесом.

MoleculARweb Веб-сайт: «https://molecularweb.epfl.ch/»

«Введение»

Видео на YouTube о молекулярном ARweb:

Рецензируемая статья о первом выпуске молекулярного ARweb: «https://pubs.acs.org/doi/10.1021/acs.jchemed.1c00179»

  • Использование активностей: https://youtu.be/GuYMqG8kce8
  • Главный канал, Молекулы в дополненной реальности Интернета: https://www.youtube.com/user/laa2515
  • Ключевые видео о молекулярной сети: https://www.youtube.com/watch?v=myBC_f6OJDQ, https://www.youtube.com/watch?v=ntrLXEaHRUU, https://www.youtube. com / watch? v = SHAPsCMwPrA , https://www.youtube.com/watch?v=FYZWQlp7iF4 и https://www.youtube.com/watch?v=vfiHI4uT_Wg
  • Ощутимые, большие модели объектов абстрактной природы или незаметные из-за своего небольшого размера или труднодоступности / труднодоступности чрезвычайно полезны для обучения и самообучения, поскольку они делают предметные концепции и объекты более понятными. Это особенно важно в подходе к химии, когда учителя и ученики сталкиваются со сложными, трудно визуализируемыми концепциями. Конкретные примеры варьируются от форм чистых атомных орбиталей и их комбинаций, дающих гибридные и молекулярные орбитали, до организации атомов в пространстве, особенно в хиральных системах, включая также тот факт, что молекулы являются гибкими объектами, которые исследуют различные конформации, проходя через динамические характер равновесия, изменения состояний протонирования, распределение молекулярных свойств, таких как заряд или ароматичность, и, в свою очередь, взаимодействие всех этих и других элементов в сложных молекулах, таких как те, которые образуют строительные блоки биологии. В этих и многих других случаях визуализация задействованных сущностей и механизмов облегчает передачу и понимание идей. С этой целью обычные учебные материалы и презентации в классе включают в себя различные иллюстрации и графику. Но у них есть два недостатка: с одной стороны, многие из них являются двумерными представлениями внутренне трехмерных объектов; с другой стороны, этот материал обычно статичен или, в лучшем случае, анимирован, но редко интерактивен, т.е. ни учителя, ни ученики не могут воздействовать на рассматриваемые химические или биологические объекты. Многие курсы сегодня частично восполняют этот недостаток, прибегая к программам молекулярной компьютерной графики, которые позволяют пользователям быстро визуализировать практически любую молекулу в псевдо-3D (псевдо, имея в виду тот факт, что изображение обычно находится на плоском экране). Существует даже несколько библиотек веб-программирования, которые позволяют вставлять молекулярную графику прямо в веб-страницы, с помощью которых были созданы различные образовательные ресурсы в различных областях химии и молекулярной биологии. Основная проблема с этими графическими программами заключается в том, что они ограничены обработкой трехмерных объектов с помощью мыши на плоской поверхности, что затрудняет одновременные операции вращения и перемещения двух молекул; таким образом, практически невозможно сравнивать пары молекул или заставить их взаимодействовать. Напротив, материальные модели из пластика или других материалов обеспечивают большую доступность и управляемость, когда преподаватель или студент может физически перемещать молекулы, чтобы понять их геометрию, стереохимию и хиральность, и даже заставить вращаться вокруг простых связей, которые труднее достичь с помощью программ компьютерной графики. Существуют даже физические модели, приготовленные из таких материалов, как пластик, которые представляют нуклеиновые кислоты и белки, физические модели клеток, а некоторые преподаватели разработали модели атомных орбиталей, напечатанные на 3D-принтере (1). Но физические модели также имеют свои недостатки по сравнению с графикой, начиная с их относительно высокой стоимости, отсутствия деталей и трудностей с изменением отображения и аннотирования информации. В частности, молекулярные модели ограничены числом и типами доступных атомов, в дополнение к тому факту, что пользователь должен собирать модели, что подразумевает возможность ошибки для больших молекул. Кроме того, такие наборы не очень доступны, а коммерческие наборы довольно дороги, по крайней мере, для студентов в развивающихся странах.

Ссылки

(1) de Cataldo, R .; Гриффит, К. М .; Фогарти, К. Х. Практическая гибридизация: 3D-печатные модели гибридных орбиталей. Дж. Chem. Образов. 2018, 95 (9), 1601–1606. «Https://doi.org/10.1021/acs.jchemed.8b00078.»

(2) Cortes Rodriguez, F .; Frattini, G .; Krapp, L .; Martinez-Huang, H .; Морено, Д .; Salomon, J .; Стемкоски, Л .; Traeger, S .; Dal Peraro, M .; Абриата, Л. MoleculARweb: Веб-сайт для образования в области химии и структурной биологии через интерактивную дополненную реальность из коробки в бытовых устройствах. ChemRxiv 2020.

(3) Cortés Rodríguez, F .; Frattini, G .; Krapp, L. F .; Martinez-Hung, H .; Морено, Д. М .; Roldán, M .; Salomón, J .; Стемкоски, Л .; Traeger, S .; Даль Пераро, М. MoleculARweb: Веб-сайт для образования в области химии и структурной биологии с помощью интерактивной дополненной реальности из коробки в бытовых устройствах. Дж. Chem. Образование. 2021.

(4) Абриата, L. A. Moléculas en realidad aumentada «https://www.youtube.com/channel/UCdhOVimtNZmri967KdTEAKg.»

(5) Juszkiewicz, S .; Чандрасекаран, В .; Lin, Z .; Kraatz, S .; Рамакришнан, В .; Хегде, Р. С. ZNF598 - датчик контроля качества столкнувшихся рибосом. Мол. Ячейка 2018, 72 (3), 469–481. e7.

(6) Абриата, Л. А. Строительные блоки для молекулярной визуализации и моделирования товаров на основе дополненной реальности в веб-браузерах. PeerJ Comput. Sci. 2020, 6, e260.

(7) Абриата, Л. А. Веб-приложения достигли совершеннолетия для молекулярных наук. Информатика 2017, 4 (3), 28.

(8) Abriata, L.A .; Родригес, Дж. П. Г. Л. М .; Salathé, M .; Патини, Л. Расширение исследований, образования и информирования с помощью клиентского веб-программирования. Trends Biotechnol. 2018, 36 (5), 473–476. «Https://doi.org/10.1016/j.tibtech.2017.11.009.»

(9) Martínez-Hung, H .; García-López, A .; Эскалона-Арранс, J. C. Modelos de Realidad Aumentada Aplicados a La Enseñanza de La Química En El Nivel Universitario. Ред. Куба. Quím. 2017, 29 (1), 13–25.

Я увлекаюсь природой, наукой, технологиями, программированием и сделай сам. Биотехнолог и химик в мокрой лаборатории и в компьютерах. Пишу обо всем, что входит в круг моих интересов. Посмотрите мои «списки», чтобы узнать больше. «Станьте средним участником», чтобы получить доступ ко всем историям, написанным мной и другими авторами, и «подпишитесь, чтобы получать мои новые истории» по электронной почте (оригинальные партнерские ссылки платформы).

Обучение химии и биологии с использованием дополненной реальности Commodity Web - на любом устройстве!