1 Высшая школа информационных технологий и интеллектуальных систем Казанского (Приволжского) федерального университета Аннотация. Активное повсеместное использование виртуальной реальности в образовании требует автоматизированного решения для создания виртуальных тренажёров по всем областям знаний, некоторые подходы которого демонстрируются в этой статье. Виртуальные тренажёры по предметной области должны разрабатываться творческой группой, которая включает в себя кроме IT-специалистов консультантов по конкретной предметной области, не имеющих специальных IT-знаний, но выполняющих активную роль для интерактивного описания обучающей виртуальной среды.
Введение Виртуальная реальность (VR) является сейчас одним из основных трендов формирования Smart University и маст-хэв новых обучающих подходов [1], обеспечивая иммерсивную интерактивную обучающую среду, которую можно насытить любым образовательным контентом, применяя, в том числе, и разнообразные нарративные способы вовлечения, обеспечивающие достижение большего образовательного эффекта. В традиционных подходах к обучению “в классе” есть много как педагогических, так и чисто экономических недостатков. Виртуальные университеты – это логичное и экономичное решение этих недостатков. “Текстовая эра” XIX века, сменилась цифровой эрой XX века, а XXI-ый – открывает эру виртуализации, когда e-learning позволяет людям учиться в любое время, в любом месте, с полным погружением и обратной связью в smart-классах – одной из методологий электронного обучения. С уверенностью можно утверждать, что будущее электронного обучения будет представлять собой иммерсивную виртуальную реальность и смешанную реальность [2].
Что обуславливает такую роль виртуальной реальности в будущем образовательных технологий? VR обеспечивает доступ к новым формам и методам визуализации, опираясь на сильные стороны визуальных представлений, открывая альтернативные подходы для презентации материала. VR также может более точно, чем другими способами, проиллюстрировать некоторые функции и процессы, позволяя проводить крупномасштабное исследование объекта, наблюдение с большого расстояния, наблюдение и исследование областей и событий, которые недоступны другими способами – и таким образом стирать грани, разделяющие реальный мир и человеческое воображение; VR поощряет активное участие студента, мотивирует сотрудничество, обеспечение социальной атмосферы, отрицает пассивность, предоставляет всем равные возможности.
Потенциальные преимущества использования VR в образовании: визуализация и овеществление, альтернативный метод представления материала; обучение в условиях, которые невозможно или трудно испытать в реальной жизни; повышение мотивации; навыки работы в команде (collaboration); приспособляемость, предлагающая возможность обучения, адаптированного к характеристикам и потребностям студента; развернутые оценки вовлеченности в процесс обучения, из-за легкого мониторинга в виртуальной среде реакций студента, включая интерпретацию бионейросигналов на различные раздражители, смены зон внимания, реакций на циклические события и ассоциативный подбор информации – в использовании различных нарративных техник и игровых механик. Оснащение систем виртуального окружения различными современными устройствами позволяет создавать тренажеры с большим коэффициентом иммерсивности. Министерство образования и науки Российской Федерации подчеркивало в 2015 году, что “в состав программно-аппаратных комплексов должно быть
1. Виртуальные тренажеры Сейчас вряд ли найдётся область, где ещё нет примеров использования разнообразных тренажерных систем с использованием виртуальной реальности, предназначенных для обучения навыкам управления и изучения как гражданской, так и военной техники, проведения малоинвазивных лапароскопических1 или инвазивных хирургических операций, для отработки практических навыков врачебными инструментами у стоматологов, тренажеры по тренировке бригады скорой помощи, для управления разнообразными технологическими процессами, включая совместную работу в коллективе [3], например, обучение экипажей судов рыбопромыслового флота, тушение пожаров [4], обслуживание железнодорожных станций. Например, многопользовательский VR-тренажер экипажей субмарин [5] создан для отработки действий во внештатных ситуациях без подвергания риску жизней экипажа. В мире существует более 600 компаний, имеющих отношение к разработке и производству тренажерных систем.
Рис. 1. Биотехнологическая лаборатория в виртуальной реальности – с элементами геймификации и звуковым окружением 1 Лапароскопия – современный метод хирургии, в котором операции на внутренних органах проводят через небольшие (обычно 0,5—1,5 см) отверстия, в то время как при традиционной хирургии требуются большие разрезы. На основе собственного более раннего автономного решения [6–9], в Казанском федеральном университете был разработан биотехнологический тренажер, использующий виртуальную реальность, с высокой степенью иммерсивности (см. рис. 1). Это решение помогло разработать универсальную автоматизированную систему создания иммерсивных тренажеров с использованием виртуальной реальности по любой предметной области.
В качестве среды разработки выбран популярный игровой движок Unity. В разработке виртуального тренажера участвуют как IT-разработчики (программист, 3D-моделлер, саунд-дизайнер и т.д.), так и не имеющие специальной IT-подготовки консультанты по предметной области, для работы которых разработан специальный инструмент – конструктор сценариев, позволяющий визуально проектировать поведение виртуальных объектов в зависимости от действий пользователя.
Рис. 2. Диаграмма последовательности процесса создания виртуального тренажёра
2. Многопользовательский режим Как важное свойство тренажёров виртуальной реальности выше была отмечена возможность отработки работы в команде. Для реализации многопользовательского режима используется библиотека Photon Unity Networking.
Главный компонент сетевого режима это – NetworkManager, он содержит в себе несколько настроек: версия приложения, количество людей в создаваемой виртуальной комнате, видимость её для других пользователей, быстрота передачи пакетов серверу и лимит на подключения.
В данном компоненте содержатся методы, которые обеспечивают работу клиента и сервера в целом: 1) для подключения клиента к серверу используется метод OnConnectedToMaster; 2) для подключения пользователя используется метод JoinRandomRoom, если подключение происходит успешно, то для клиента создается его аватар и добавляются компоненты управления, иначе вызывается метод создания отдельной комнаты.
Безусловно, физическое местоположение и производительность сервера могут значительно влиять на “играбельность” запущенного тренажёра. Клиенты, расположенные на другом континенте относительно сервера, могут столкнуться со значительным запаздыванием. Это физическое ограничение интернета и единственным реальным решением может быть распределение серверов в точках, максимально приближенных к клиентам, которые будут их использовать, или по крайней мере, расположение их на том же континенте. 3. Натуральный пользовательский интерфейс Пользовательский интерфейс является промежуточным слоем, обеспечивающим обмен информацией между машиной и человеком. Технология VR позволяет человеку взаимодействовать с машиной с новыми, ранее не используемыми методами. Поэтому VR имеет разнообразный пользовательский интерфейс или его возможную характеристику или целый ряд технологий, которые могут использоваться в интерфейсе. Необходимо определить новый тип пользовательских интерфейсов: естественный пользовательский интерфейс (NUI). В настоящее время мы переходим к эпохе 2 Геймдев (англ. gamedev) – сокр. Game Development, или процесс разработки игр. Обучающие приложения виртуальной реальности, использующие геймификацию, игровые механики, нарративные методики, балансные метрики, оценки вовлеченности и т.д. бесспорно стоит отнести к области разработки игр.
3 Пайплайн (англ. pipeline) – конвейер, в разработке программного обеспечения это – полный цикл процесса производства приложения. NUI, которая использует естественные жесты и голос пользователя – и это происходит ещё в то время, как везде ещё широко используется привычный графический интерфейс. Примеры NUI включают пользовательский интерфейс на основе жестов с использованием волокон, магнитных датчиков и перчаток данных [10]. Пользовательский интерфейс, использующий физические устройства, точно распознает жесты пользователя, но конкретное физическое устройство должно быть прикреплено к пользователю. Другим примером является пользовательский интерфейс, основанный на голосе, который является самым универсальным и простым способом общения между людьми, что особенно логично использовать, если речь идёт о многопользовательском режиме для отработки работы в команде.
С развитием новых тактильных устройств сферы применения NUI увеличиваются. Цель естественной парадигмы состоит в том, чтобы устранить барьеры и предложить стиль взаимодействия, более похожий на используемый в реальном мире; удобство использования жестов может обеспечить привлекательную и естественную альтернативу [11]. Тактильная обратная связь [12] может значительно повысить реалистичность при взаимодействии с виртуальными объектами в виртуальной среде.
Как одно из решений достижения иммерсивности виртуальных тренажёров [13] является использование натурального интерфейса, а именно голосовых команд и перчаток с обратной связью для тактильных взаимодействий с виртуальными объектами.
4. Заключение Описанный автоматизированный подход для создания многопользовательских обучающих тренажёров с использованием виртуальной реальности позволяет включать в команду разработчиков не только ITспециалистов (3D-моделлеров, саунд-дизайнеров, создающих иммерсивное виртуальное окружение, и программистов, описывающих интерактивное взаимодействие объектов виртуального мира), но и консультантов по конкретной предметной области, не имеющих специальных IT-знаний, но выполняющих активную роль для интерактивного описания обучающей виртуальной среды (а не пассивную роль – лишь по постановке задачи). Многопользовательский режим значительно расширяет сферы применения обучающих тренажёров, для повышения иммерсивности используются элементы натуральных пользовательских интерфейсов, а для оценки иммерсивности и вовлеченности студента в процесс обучения – интерпретация бионейросигналов, основанная на кубе эмоций Лёвхейма [14; 15].
Работа выполнена за счет средств субсидии, выделенной Казанскому федеральному университету для выполнения государственного задания в сфере научной деятельности, проект ФПИ18-122 (0211/02.11.10122.001). Литература 1. Choudhary K., Anuradha. A Proposed Model for Virtual Reality Based Smart Classes // International Journal of Information and Computation Technology. — 2013. — V. 3. — No 5. — P. 439-444. 2. Zikas P., Bachlitzanakis V. et al. Mixed reality serious games and gamification for smart education // Proceedings of the European Conference on Games-based Learning. — 2016. — 805 p. 3. Михайлов В.Ю., Гостев В.М., Кугуракова В.В., Чугунов В.А. Виртуальная лаборатория как средство обеспечения коллективной научно-методической работы // Сб. трудов XII международной конференции «ИТО-2002». Часть IV (Москва, 4-8 ноября 2002 г.). – Москва: МИФИ. — 2002. — С. 31-34. 4. Zhang K., Suo J., Chen J. et al. Design and Implementation of Fire Safety Education System on Campus based on Virtual Reality Technology // Proceedings of the 2017 Federated Conference on Computer Science and Information Systems, ACSIS. — 2017. — V. 11. — P. 1297–1300. 5. The VR Training Platform for Royal Navy // URL: https://immerse.io/qinetiq/ 6. Абрамов В.Д., Кугуракова В.В., Ризванов А.А. и др. Виртуальные лаборатории как средство обучения биомедицинским технологиям // Электронные библиотеки. — 2016. — T. 19. — №3. — C. 129-148. 7. Abramov V.D., Kugurakova V.V., Rizvanov A.A. et al. Virtual Biotechnological
Lab Development // BioNanoScience. — 2017. — V. 7. — Is.2. — P. 363-365. 8. Kugurakova V., Abramov V., Abramskiy M. et al. Visual editor of scenarios for virtual laboratories // 2017 10th International Conference on Developments in eSystems Engineering (DESE 2017). — 2017. — P. 242-247. 9. Абрамов В.Д., Абрамский М.М., Кугуракова В.В. и др. Визуальный редактор сценариев для виртуальных лабораторий // Электронные библиотеки. — 2016. — Т. 19. — №6. — С. 483-501. 10. Kim S., Yeom S., Kwon O. et al. Hand-Mouse Interface using Virtual Monitor
Concept for Natural Interaction // IEEE Access. — 2017. 11. Kaushik D.M., Jain R. Gesture based interaction NUI: an overview // Int. J. Eng.
Trends Technol. — 2014. — V. 9(12). — P. 633–636. 12. Lin Z., Smith S. A natural user interface for realistic tactile perception of object surface texture // Proceedings — 9th International Conference on Intelligent Human-Machine Systems and Cybernetics, IHMSC 2017. — 2017. — 370 p. 13. Kugurakova V.V., Elizarov A.M. et al. Towards the immersive VR: measuring and assessing realism of user experience // The 2018 International Conference on Artificial ALife and Robotics. (ICAROB 2018). — 2018. 14. Kugurakova V.V., Talanov M.O., Ivanov D.S. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Procedia Computer Science. — 2016. — V. 88. — P. 217-223. 15. Kugurakova V.V., Ayazgulova K. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Proceedings of the Ninth Annual Meeting of the BICA Society 848. — 2018. — P. 209-216.
References 1. Choudhary K., Anuradha. A Proposed Model for Virtual Reality Based Smart Classes // International Journal of Information and Computation Technology. — 2013. — V. 3. — No 5. — P. 439-444. 2. Zikas P., Bachlitzanakis V. et al. Mixed reality serious games and gamification for smart education // Proceedings of the European Conference on Games-based Learning. — 2016. — 805 p. 3. Mikhaylov V.Yu., Gostev V.M., Kugurakova V.V., Chugunov V.A. Virtual’naya laboratoriya kak sredstvo obespecheniya nauchno-metodicheskoy raboty // Sb. trudov XII mezhdunarodnoj konferencii «ITO-2002». Chast’ IV. – M: MIFI. — 2002. — S. 31-34. 4. Zhang K., Suo J., Chen J. et al. Design and Implementation of Fire Safety Education System on Campus based on Virtual Reality Technology // Proceedings of the 2017 Federated Conference on Computer Science and Information Systems, ACSIS. — 2017. — V. 11. — P. 1297–1300. 5. The VR Training Platform for Royal Navy // URL: https://immerse.io/qinetiq/ 6. Abramov V.D., Kugurakova V.V., Rizvanov A.A. i dr. Virtual’nye laboratorii kak sredstvo obucheniya biomeditsinskim tekhnologiyam // Elektornnye biblioteki. — 2016. — T. 19. — № 3. — S. 129-148. 7. Abramov V.D., Kugurakova V.V., Rizvanov A.A. et al. Virtual Biotechnological
Lab Development // BioNanoScience. — 2017. — V. 7. — Is.2. — P. 363-365. 8. Kugurakova V., Abramov V., Abramskiy M. et al. Visual editor of scenarios for virtual laboratories // 2017 10th International Conference on Developments in eSystems Engineering (DESE 2017). — 2017. — P. 242-247. 9. Abramov V.D., Abramskiy M.M., Kugurakova V.V. i dr. Visual’nyi redaktor scenariev dlya virtual’nykh laboratoriy // Elektornnye biblioteki. — 2016. — T. 19. — № 6. — S. 483-501. 10. Kim S., Yeom S., Kwon O. et al. Hand-Mouse Interface using Virtual Monitor
Concept for Natural Interaction // IEEE Access. — 2017. 11. Kaushik D.M., Jain R. Gesture based interaction NUI: an overview // Int. J. Eng.
Trends Technol. — 2014. — V. 9(12). — P. 633–636. 12. Lin Z., Smith S. A natural user interface for realistic tactile perception of object surface texture // Proceedings — 9th International Conference on Intelligent Human-Machine Systems and Cybernetics, IHMSC 2017. — 2017. — 370 p. 13. Kugurakova V.V., Elizarov A.M. et al. Towards the immersive VR: measuring and assessing realism of user experience // The 2018 International Conference on Artificial ALife and Robotics. (ICAROB 2018). — 2018. 14. Kugurakova V.V., Talanov M.O., Ivanov D.S. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Procedia Computer Science. — 2016. — V. 88. — P. 217-223. 15. Kugurakova V.V., Ayazgulova K. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Proceedings of the Ninth Annual Meeting of the BICA Society 848. — 2018. — P. 209-216.