Технологии виртуальной и дополненной реальности для образования

В статье рассматриваются идеи и уже существующие примеры использования технологий дополненной и виртуальной реальности (AR и VR) в образовании. В начале статьи дается краткий обзор технологий, даются основные определения, описывается техническая часть. Далее рассматривается существующий опыт применения этих технологий: приложения, организации, исследования. В последнем разделе предлагаются идеи для применения в образовании. В заключении указываются основные проблемы и трудности, которые могут возникнуть в процессе внедрения этих технологий. 

Бутов Роман Александрович,
инженер ИБРАЭ РАН, аспирант

Григорьев Игорь Сергеевич,
методист Ресурсного центра ГБПОУ “Воробьевы горы”

Обзор технологий

Виртуальная и дополненная реальности (VR и AR) – это современные и быстро развивающиеся технологии. Их цель – расширение физического пространства жизни человека объектами, созданными с помощью цифровых устройств и программ, и имеющими характер изображения (Рис. 1).

На рисунке 1а показано изображение, которое видит пользователь через специальные очки виртуальной реальности (далее – VR). Изображение разделено на две отдельные картинки для каждого глаза и специально искажено, чтобы создать для глаз иллюзию трехмерного пространства. Если человек перемещается или просто поворачивает голову, то программа автоматически перестраивает изображение, что создает ощущение реального физического присутствия. С помощью контроллеров (джойстиков и т.п.) пользователь может взаимодействовать с окружающими предметами, например, он может поднять камень и бросить его с горы – встроенная в программу физическая модель просчитает полет этого камня, что еще больше создаст иллюзию реального пространства.

На рисунке 1б показано приложение, использующее технологии дополненной реальности (далее – AR). В этом приложении можно размещать изображения мебели на изображении с камеры телефона, но за счет их деформаций у пользователя создается впечатление, что он видит реальный предмет, располагающийся в комнате. Важно, то, что в этом случае реальность (комната) дополняется виртуальным креслом, и соответствующая технология будет называться дополненной реальностью. Создание дополненной реальности возможно не только с помощью смартфонов, но и других технических средств, например, посредством специальных очков. В этом случае, виртуальное изображение достраивается на поверхности линз очков.

Рисунок а

Рисунок б

Рисунок 1. Примеры технологии виртуальной (а) и дополненной реальности (б)

В качестве устройств на данный момент используются: очки виртуальной и дополненной реальности, контроллеры, наушники, смартфоны, планшеты. Эти устройства позволяют человеку видеть и слышать цифровые объекты (Рис. 2). В ближайшем будущем, ожидается появление перчаток с обратной связью, позволяющих человеку осязать цифровые объекты (Рис. 3).

Рисунок а

Рисунок б

Рисунок в

Рисунок 2. Устройства для VR и AR: очки с наушниками (а), контроллеры (б), смартфоны и планшеты (в)

Рисунок 3. Прототип перчаток с обратной связью

Программы создаются, как правило, на тех же платформах, на которых разрабатывают компьютерные игры (Unity [1], Unreal Engine [2], и т.д.), с помощью различных инструментов для разработки программ виртуальной и дополненной реальности (Steam VR [3], Google VR [4], Oculus [5], Windows Mixed Reality [6], Google ARCore [7], Apple ARkit [8], Google Tango [9], Vuforia [10] и т.д.).

Прототипы устройств и первые использования терминов VR и AR существовали еще в середине 20 века, но современная терминология была сформирована в начале 90-х годов. Для VR в работе Джарона Ланье (Jaron Lanier) [11], для AR в работе авторов Коделла, Томаса и Мизелла (Caudell, Thomas P., and David W. Mizell) [12].

Вследствие бурного развития технологий, терминология постоянно изменяется. Однако, понятие реально-виртуального континуума (reality-virtuality continuum), предложенное в работе Милгрэма, Поула и др. (Milgram, Paul, et al.) [13] остается актуальным и по сей день и является основополагающим для последующих. На рисунке 4 показана иллюстрация для определения понятия реально-виртуального континуума.

Рисунок 4. Реально-виртуальный континуум.

Все технологии, связанные с расширением реальности посредством цифровых объектов (возможно, что и не только цифровых), располагаются между двумя полярными вариантами возможных реальностей: реальностью (reality), в которой мы с вами живем, и виртуальной реальностью (virtual reality, VR). Реальность – это абсолютное отсутствие дополнительных объектов в физическом пространстве, т.е. само физическое пространство. Виртуальная реальность – это абсолютное отсутствие реальных объектов. Множество этих технологий называется смешанной реальностью (mixed reality, MR). На практике оно часто разбивается на подмножества. Двумя классическими подмножествами являются дополненная реальность (augmented reality, AR) и дополненная виртуальность (augmented virtuality, AV). В первом случае подразумеваются технологии, дополняющие реальность различными объектами, во втором, дополняющие виртуальную реальность реальными объектами.

В качестве примера можно привести технологию, которая погружает вас в Древний Рим. Если эта технология дополняет окружающее вас пространство различными объектами из той эпохи (мечи, доспехи, глиняные кувшины, храмы, арены), то это будет считаться AR технологией, если же вас переносят в древний город, с его архитектурой, людьми, погодой, событиями, и т.д., но, к примеру, лица этих людей будут транслироваться из окружающего мира, то это технология дополненной виртуальности (далее – AV). На сегодняшнем уровне развития, технология AV практически не используется, но в будущем она может стать гораздо более впечатляющей, чем AR и VR.

Говоря о прогнозах развития технологии, часто предполагается смещение существования человека в пространство смешанной реальности (MR), что уже наблюдается вследствие развития интернета и мобильных устройств. В рамках виртуально-реального континуума мобильные устройства можно считать технологией дополненной реальности AR, так как они дополняют окружающий мир дополнительной визуальной, звуковой и отчасти тактильной информацией. В короткометражном фильме антиутопии режиссер Кейши Матсуда (Keiichi Matsuda) [14], показывает результат такого движения, который автор называет чрезмерной или сверх-реальностью (hyper reality). Сможет ли человек в том виде, в котором он есть сейчас существовать в подобном мире? Это остается вопросом.

Имеющийся опыт применения в образовании

В последнее десятилетие, благодаря уменьшению стоимости устройств, технологии стали более доступны широкому кругу пользователей. Что, в свою очередь, привело к росту числа программ (приложений) по различным тематикам. Для VR это в основном игры от 1 лица в жанре шутер или записи камер 360 градусов (прыжки парашютистов, достопримечательности, дикая природа, подводный мир, динозавры и т.д.), для AR приложения для изменения лиц пользователей, измерения расстояний объектов реального мира, различные головоломки, а также обучающие программы (в основном, по анатомии и астрономии).

Если говорить о применении в образовании, то для виртуальной реальности это изучение природы [15, 16], проведение лабораторных работ по физике [17], изучение динозавров [18], путешествие по планетам [19], астрономии [20] и многое другое. Для AR это изучение анатомии [21], химии [22, 23], астрономии [24, 25].

Технологии VR и AR часто упоминаются в программах иммерсивного обучения (immersive education) [26-31]. Такие программы включают в себя использование современных информационных технологий в процессе обучения, который проходит внутри различных виртуальных миров и симуляций, причем часто в игровой форме. Такой вид обучения способствует повышению вовлеченности, коммуникаций между обучаемыми и интереса к предмету.

В рамках академических исследований, на тему влияния технологий дополненной реальности на процесс обучения, было проведено десятки работ (наиболее полный обзор представлен в одной из указанных в списке источников работе – [32]). В обзоре отмечено улучшение успеваемости обучаемых, понимания материала, повышение уровня мотивации. Также растет степень вовлеченности в процесс обучения и интереса к изучению предмета, повышается уровень коммуникации между студентами.

Основные проблемы, с которыми сталкивались преподаватели – это дополнительное время, затраченное на скачивание приложений, обучение работе с ними обучаемых, плохая работа геолокации, иногда низкое качество отклика моделей, трудности у студентов с работой в формате AR. В целом, все проблемы связаны с недостатком опыта в работе с AR и пока еще несовершенством технологии. В дальнейшем, с развитием технологии, эти проблемы будут устранены.

Идеи для применения

В данном разделе представлены лишь некоторые идеи того, как могут быть использованы возможности технологий AR и VR в сфере образования.

a) виртуальная реальность (VR)

Возможность этой технологии погружать человека в виртуальный мир определяет основное направление для ее развития в образовании. Все то, что не может быть создано в реальном мире по техническим, экономическим или физическим причинам, может быть создано в мире виртуальном. Возможность побывать там, где в реальности побывать трудно или невозможно. Увидеть электрические и магнитные поля, доисторических животных, подводные миры, древние страны, планеты и астероиды. Также эта технология может открывать некоторые вещи по-новому, к примеру, живопись, есть приложение, которое погружает вас в картину Ван Гога «Ночное Кафе» [33]. Такие приложения могут по-новому открыть живопись в веке кино и компьютерных игр.

В физике, эта технология может позволить проводить лабораторные работы в современных лабораториях. К примеру, почему бы не смоделировать наиболее известные исследовательские проекты последних лет: большой андронный коллайдер или детектор гравитационных волн и провести в них лабораторные работы? Это позволит заинтересовать обучаемых, показывая им современное состояние науки, а не то, при котором учились еще их деды и прадеды (что конечно, тоже имеет значение).

При изучении иностранных языков, большой прогресс в обучении достигается при живом общении с носителем. Но если такого человека найти трудно или трудно технически доставить его в аудиторию. Виртуальная реальность уже сейчас позволяет попадать в пространства, где можно не только общаться, но и взаимодействовать с другими пользователями [34-36]. Например, можно перенести группу, изучающих японский язык в России, и группу, изучающих русский язык в Японии, в одно пространство, где они могли бы общаться, выполнять задания. А на следующее занятие, например, с группой из Испании. Такой интерактивный формат будет интересен обучаемым в любом возрасте. Проводить же такие встречи вживую или даже с использованием видеоконференций связи было бы не так эффективно, но более трудоемко и затратно.

В изучении истории, обучаемые могут ознакомиться с трехмерными экспонатами музеев мира. А также с воссозданными городами, битвами или другими историческими событиями. Например, можно не только воссоздать Бородинскую битву, но и позволить обучаемым в ней поучаствовать и принимать свои собственные, а также коллективные решения. Таким образом, это будет новым шагом развития после создания Бородинской панорамы в Москве.

В области географии современное развитие камер 360 градусов, позволяют пользователям снимать трехмерные панорамы и видео. Многие исследователи, путешественники и просто туристы снимают множество материала и выкладывают его в открытый доступ. Это видео про горы, океаны, полеты, вулканы, полюса. Использование такого материала на занятиях, позволит обучаемым увидеть далекие уголки нашей планеты и поддержать их интерес к путешествиям.

В биологии технология открывает возможность масштабироваться до размера органов, клетки или даже молекулы ДНК [37-38]. Интерактивные возможности позволяют не только увидеть статическую картину, но и посмотреть, к примеру, процесс репликации ДНК.

В области химии приложения позволяют проводить опасные или дорогостоящие опыты [39-40]. Изучать строения атомов и молекул. Наблюдать за химическими превращениями в динамике.

В области литературы можно, например, визуализировать наиболее яркие моменты художественных произведений. Интересным видится совмещение материала и события. Например, побывать на экзамене в Царскосельском лицее и увидеть, как Пушкин читает «Воспоминания в Царском Селе». Конечно, голоса поэта и главное той энергии уже не воссоздать, но такой формат позволит обучаемым почувствовать ту атмосферу, которая царила в то время.

b) дополненная реальность (AR)

Визуализация алгебраических поверхностей, как второго, так и более высоких порядков. На рис. 5 показаны алгебраические поверхности 2 порядка при их отображении с помощью технологии AR. Обучаемый получит возможность качественно изучить поверхность как реальный объект перед собой, а не на экране компьютера и, тем более, книги, а также изменять параметры в реальном времени и видеть результат. Все это должно способствовать лучшему пониманию структуры уравнений (интерактивное изменение параметров) и трехмерной формы поверхностей.

Рис. 4. Алгебраические поверхности 2 порядка

Аналогичные визуализации можно создавать для поверхностей более высокого порядка (рис. 5).

Рис. 5. Алгебраические поверхности порядка больше 2: (a) Диагональная кубическая поверхность Клебша, (б) Лента Мебиуса, (в) Бутылка Клейна

Основным направлением для применения в физике является визуализация уравнений математической физики. При этом показывается решение в виде физического процесса. Обучаемый сможет динамически изменять параметры уравнения и видеть влияние этого изменения на результат.

Интересным видится визуализация фазовых диаграмм, в частности pvt-диаграммы (фазовой диаграммы) воды (рис. 6). На диаграмме возможно отображение физических процессов: изобарного, изохорного, изотермического, адиабатного и политропных процессов. Студент будет видеть полную картину процесса, а не проекции на определенные плоскости, интерактивно менять точки начала и окончания процесса, видеть дополнительную информацию о процессе (выделяемая/поглощаемая энергия, параметры в начале и конце).

Рис. 6. Фазовая диаграмма воды

В химии отображение атомных орбиталей (рис. 7) поможет лучше понять и запомнить их строение. Визуализация строения молекул (рис. 8), позволяет увидеть различные химические связи в пространстве.

Рис. 7. Фазовая диаграмма воды

Рис. 8. Молекула кофеина

В машиностроении визуализация моделей оборудования с возможностью воспроизведения анимации, показывающей принцип их работы. Для насосов и турбин можно размещать рядом фазовую диаграмму среды с нанесенным на ней физическим процессом. На рис. 9 показан снимок из AR приложения, где показана АЭС с реактором ВВЭР мощностью 1200 МВт. В приложении отображаются основные конструкции, оборудование и анимируется движение среды.

Рис. 9. AR приложение с АЭС ВВЭР 1200

Выводы

Сегодня в реальности массового общего образования представить себе использование технологий дополненной и виртуальной реальности достаточно тяжело. И дело не в финансовой составляющей – мы знаем успешный пример амбициозного проекта «Московская электронная школа», в рамках которого подобные технологии используются в некотором объеме. По нашему мнению, основные трудности связана с:

• Жесткостью программы, которую необходимо успешно усвоить ученикам в рамках общего образования. Несмотря на то, что технологии виртуальной и дополненной реальности имеют большой потенциал для повышения успеваемости обучаемых, они же могут существенно отвлекать. Примеры использования технологии говорят об увеличении вовлеченности и повышении интереса к процессу обучения. Некоторые исследователи делают вывод, что эти факторы ведут к повышению успеваемости обучаемых. Однако, в случае излишнего увлечения формой в ущерб содержанию эффект может быть обратным.
• Использование подобных технологий, вероятно, может давать большой эффект, но использование в рамках стандартного школьного урока в 45 минут будет приводить к существенному нарушению программы, так как временные затраты на работу с материалом с использованием данных технологий так или иначе будут изменять план учебных занятий.
• Внедрение подобных технологий связано с несколькими трудностями, которые носят финансовый характер: дороговизна оборудования, отсутствие большого числа качественных приложений и, соответственно, необходимость их разработки, небольшой опыт пользования данной технологией у преподавателей, которых необходимо дополнительно обучить.
• Скромное количество и разнообразие существующих приложений с использованием технологий AR и VR, особенно специально созданных для образования, является еще одним «тормозом». Для того, чтобы изменить ситуацию, безусловно, необходима государственная поддержка таких проектов, государственный заказ. Создание даже небольшого приложения виртуальной реальности, к примеру, в области истории, требует работы множества специалистов: историков, художников, программистов, культурологов и др. Подобные ресурсы возможно найти или при наличие серьезных ресурсов и запроса со стороны государства или крупного бизнеса, либо в случае, когда интересы различных сторон пересекаются.

Какие есть способы преодолеть эти трудности? Основной наш тезис заключается в том, что в настоящий момент использование технологий дополненной и виртуальной реальности наиболее адекватно в области дополнительного образования, которое может служить проводником новых идей, не столь жестко структурировано, как общее образование.

Проиллюстрируем как дополнительное образование может преодолевать трудности, пройдясь по указанным выше пунктам потенциальных проблем внедрения технологий.

Дополнительное образование имеет гораздо гибкую по сравнению с общим образованием систему устройства. Программы различных уровней, различная продолжительность занятий, привлечение педагогов из профильных организаций на частичную занятость. Возможности сотрудничества с профильными промышленными предприятиями, вузами позволяет привлечь компетентных специалистов, а также потенциально дает возможность найти способы решения вопросов по необходимому оборудованию. Особенно интересен вариант сотрудничества с другими организациями, например, музеями, которые могут быть заинтересованы в подобных технологиях. Уже сейчас существуют экскурсии и специально созданные экспозиции, где активно используются возможности AR и VR. Так почему не создавать и использовать высокотехнологичный продукт для совместного использования? Ведь они могут быть включены как элементы программ по многим направлениям дополнительного образования.

Отдельно стоит сказать о необходимости не только обучения с помощью технологий AR и VR, но и обучения компетенциям по созданию продуктов, использующих эти технологии. Предпрофессиональное и профессиональное образование обязательно должно обратить внимание на эти направления подготовки. В настоящий момент разработка виртуальной и дополненной реальности входит в список компетенций такого мероприятия как «Ворлдскиллс Россия» [41], что отражает востребованность современным обществом специалистов в данных направлениях.

Ссылки

1. Программа Unity https://unity3d.com
2. Программа Unreal Engine https://www.unrealengine.com/en-US/what-is-unreal-engine-4
3. Программа SteamVR https://developer.valvesoftware.com/wiki/SteamVR
4. Программа Google VR https://vr.google.com/
5. Программа Oculus https://developer.oculus.com/
6. Программа Windows Mixed Reality https://developer.microsoft.com/en-us/windows/mixed-reality
7. Программа ARCore https://developers.google.com/ar/
8. Программа ARKit https://developer.apple.com/arkit/
9. Программа Tango https://developers.google.com/tango/
10. Программа Vuforia https://developer.vuforia.com/
11. Lanier, Jaron. “Virtual reality: The promise of the future.” Interactive Learning International4 (1992): 275-79.
12. Caudell, Thomas P., and David W. Mizell. “Augmented reality: An application of heads-up display technology to manual manufacturing processes.” System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on. 2. IEEE, 1992.
13. Milgram, Paul, et al. “Augmented reality: A class of displays on the reality-virtuality continuum.” Telemanipulator and telepresence technologies. Vol. 2351. International Society for Optics and Photonics, 1995.
14. Hyper-reality short film by Keiichi Matsuda https://vimeo.com/166807261
15. https://technical.ly/baltimore/2015/05/29/alchemy-learning-virtual-reality-classroom-oculus/
16. http://www.virryvr.com/
17. https://www.labster.com
18. https://itunes.apple.com/us/app/jurassic-virtual-reality-vr/id958174054?mt=8
19. https://edu.google.com/expeditions
20. http://www.titansofspacevr.com/
21. http://anatomy4d.daqri.com/
22. http://elements4d.daqri.com/
23. https://www.microsoft.com/en-us/store/p/mylab/9nn8dz3j8ksx
24. https://itunes.apple.com/us/app/ar-planets/id839735420?mt=8
25. https://play.google.com/store/apps/details?id=com.google.android.stardroid&hl=en
26. http://immersiveeducation.org/
27. http://immersivevreducation.com/
28. https://medium.com/futurepi/a-vision-for-education-and-its-immersive-a-i-driven-future-b5a9d34ce26d
29. https://www.ted.com/talks/michael_bodekaer_this_virtual_lab_will_revolutionize_science_class/footnotes?referrer=playlist-10_years_of_ted_talks#t-669397
30. https://www.mos.ru/news/item/30181073/
31. Freina, Laura, and Michela Ott. “A literature review on immersive virtual reality in education: state of the art and perspectives.” The International Scientific Conference eLearning and Software for Education. Vol. 1. “Carol I” National Defence University, 2015.
32. Akçayır, Murat, and Gökçe Akçayır. “Advantages and challenges associated with augmented reality for education: A systematic review of the literature.” Educational Research Review 20 (2017): 1-11.
33. http://store.steampowered.com/app/482390/The_Night_Cafe_A_VR_Tribute_to_Vincent_Van_Gogh/
34. http://store.steampowered.com/app/638920/BeanVRThe_Social_VR_APP/
35. http://store.steampowered.com/app/407060/AltspaceVRThe_Social_VR_App/
36. https://www.facebook.com/spaces
37. http://www.xvivo.net/cellscape-vr-biology/
38. http://store.steampowered.com/app/451980/The_Body_VR_Journey_Inside_a_Cell/
39. https://melscience.com/vr/
40. https://www.schellgames.com/games/superchem-vr
41. http://worldskills.ru/assets/docs//%D0%9F%D0%9E-28-2018%20(2).pdf