Автоматизированный подход для создания многопользовательских тренажеров в виртуальной реальности В.В. Кугуракова1 1 Высшая школа информационных технологий и интеллектуальных систем Казанского (Приволжского) федерального университета Аннотация. Активное повсеместное использование виртуальной реальности в образовании требует автоматизированного решения для создания виртуальных тренажёров по всем областям знаний, некоторые подходы которого демонстрируются в этой статье. Виртуальные тренажёры по предметной области должны разрабатываться творческой группой, которая включает в себя кроме IT-специалистов консультантов по конкретной предметной области, не имеющих специальных IT-знаний, но выполняющих активную роль для интерактивного описания обучающей виртуальной среды. Ключевые слова: виртуальная реальность, виртуальный тренажер, многопользовательский режим, натуральный пользовательский интерфейс, иммерсивность, бионейросигнал, multiplayer, Virtual Reality, VR, training, smart classes, E-learning, immersivity, NUI. An automated approach for creating multiplayer simulators in virtual reality V.V. Kugurakova1 1 Higher School of information technologies and intellectual systems of Kazan federal university Abstract. The active universal use of virtual reality in education requires an automated solution for creating virtual simulators in all fields of knowledge, some of which are demonstrated in this article. Virtual simulators on the subject domain should be developed by a creative group that includes (in addition to IT-specialists) consultants in a specific subject area who do not have special IT-knowledge, but who are active in the interactive description of the virtual environment. Keywords: virtual reality, virtual simulator, multiplayer mode, natural user interface, immersion, bio-neural signal, multiplayer, VR, training, smart classes, E- learning, immersivity, NUI. 313 Введение Виртуальная реальность (VR) является сейчас одним из основных трендов формирования Smart University и маст-хэв новых обучающих подходов [1], обеспечивая иммерсивную интерактивную обучающую среду, которую можно насытить любым образовательным контентом, применяя, в том числе, и разнообразные нарративные способы вовлечения, обеспечивающие достижение большего образовательного эффекта. В традиционных подходах к обучению “в классе” есть много как педагогических, так и чисто экономических недостатков. Виртуальные университеты – это логичное и экономичное решение этих недостатков. “Текстовая эра” XIX века, сменилась цифровой эрой XX века, а XXI-ый – открывает эру виртуализации, когда e-learning позволяет людям учиться в любое время, в любом месте, с полным погружением и обратной связью в smart-классах – одной из методологий электронного обучения. С уверенностью можно утверждать, что будущее электронного обучения будет представлять собой иммерсивную виртуальную реальность и смешанную реальность [2]. Что обуславливает такую роль виртуальной реальности в будущем образовательных технологий? VR обеспечивает доступ к новым формам и методам визуализации, опираясь на сильные стороны визуальных представлений, открывая альтернативные подходы для презентации материала. VR также может более точно, чем другими способами, проиллюстрировать некоторые функции и процессы, позволяя проводить крупномасштабное исследование объекта, наблюдение с большого расстояния, наблюдение и исследование областей и событий, которые недоступны другими способами – и таким образом стирать грани, разделяющие реальный мир и человеческое воображение; VR поощряет активное участие студента, мотивирует сотрудничество, обеспечение социальной атмосферы, отрицает пассивность, предоставляет всем равные возможности. Потенциальные преимущества использования VR в образовании: визуализация и овеществление, альтернативный метод представления материала; обучение в условиях, которые невозможно или трудно испытать в реальной жизни; повышение мотивации; навыки работы в команде (collaboration); приспособляемость, предлагающая возможность обучения, адаптированного к характеристикам и потребностям студента; развернутые оценки вовлеченности в процесс обучения, из-за легкого мониторинга в виртуальной среде реакций студента, включая интерпретацию бионейросигналов на различные раздражители, смены зон внимания, реакций на циклические события и ассоциативный подбор информации – в использовании различных нарративных техник и игровых механик. Оснащение систем виртуального окружения различными современными устройствами позволяет создавать тренажеры с большим коэффициентом иммерсивности. Министерство образования и науки Российской Федерации подчеркивало в 2015 году, что “в состав программно-аппаратных комплексов должно быть 314 включено … программное обеспечение, необходимое для осуществления образовательного процесса”, включая “интерактивные среды, виртуальные лаборатории и …, творческие виртуальные среды…”, говоря иначе – виртуальная реальность должна стать неотъемлемой частью образовательного процесса. 1. Виртуальные тренажеры Сейчас вряд ли найдётся область, где ещё нет примеров использования разнообразных тренажерных систем с использованием виртуальной реальности, предназначенных для обучения навыкам управления и изучения как гражданской, так и военной техники, проведения малоинвазивных лапароскопических 1 или инвазивных хирургических операций, для отработки практических навыков врачебными инструментами у стоматологов, тренажеры по тренировке бригады скорой помощи, для управления разнообразными технологическими процессами, включая совместную работу в коллективе [3], например, обучение экипажей судов рыбопромыслового флота, тушение пожаров [4], обслуживание железнодорожных станций. Например, многопользовательский VR-тренажер экипажей субмарин [5] создан для отработки действий во внештатных ситуациях без подвергания риску жизней экипажа. В мире существует более 600 компаний, имеющих отношение к разработке и производству тренажерных систем. Рис. 1. Биотехнологическая лаборатория в виртуальной реальности – с элементами геймификации и звуковым окружением 1 Лапароскопия – современный метод хирургии, в котором операции на внутренних органах проводят через небольшие (обычно 0,5—1,5 см) отверстия, в то время как при традиционной хирургии требуются большие разрезы. 315 На основе собственного более раннего автономного решения [6–9], в Казанском федеральном университете был разработан биотехнологический тренажер, использующий виртуальную реальность, с высокой степенью иммерсивности (см. рис. 1). Это решение помогло разработать универсальную автоматизированную систему создания иммерсивных тренажеров с использованием виртуальной реальности по любой предметной области. В качестве среды разработки выбран популярный игровой движок Unity. В разработке виртуального тренажера участвуют как IT-разработчики (программист, 3D-моделлер, саунд-дизайнер и т.д.), так и не имеющие специальной IT-подготовки консультанты по предметной области, для работы которых разработан специальный инструмент – конструктор сценариев, позволяющий визуально проектировать поведение виртуальных объектов в зависимости от действий пользователя. Рис. 2. Диаграмма последовательности процесса создания виртуального тренажёра 316 Взаимодействие компонентов системы в ходе создания тренажёра по конкретной предметной области (в терминах геймдева2 весь цикл разработки обычно называют пайплайн3) этими специалистами можно изобразить UML- диаграммой последовательности (см. рис. 2). 2. Многопользовательский режим Как важное свойство тренажёров виртуальной реальности выше была отмечена возможность отработки работы в команде. Для реализации многопользовательского режима используется библиотека Photon Unity Networking. Главный компонент сетевого режима это – NetworkManager, он содержит в себе несколько настроек: версия приложения, количество людей в создаваемой виртуальной комнате, видимость её для других пользователей, быстрота передачи пакетов серверу и лимит на подключения. В данном компоненте содержатся методы, которые обеспечивают работу клиента и сервера в целом: 1) для подключения клиента к серверу используется метод OnConnectedToMaster; 2) для подключения пользователя используется метод JoinRandomRoom, если подключение происходит успешно, то для клиента создается его аватар и добавляются компоненты управления, иначе вызывается метод создания отдельной комнаты. Безусловно, физическое местоположение и производительность сервера могут значительно влиять на “играбельность” запущенного тренажёра. Клиенты, расположенные на другом континенте относительно сервера, могут столкнуться со значительным запаздыванием. Это физическое ограничение интернета и единственным реальным решением может быть распределение серверов в точках, максимально приближенных к клиентам, которые будут их использовать, или по крайней мере, расположение их на том же континенте. 3. Натуральный пользовательский интерфейс Пользовательский интерфейс является промежуточным слоем, обеспечивающим обмен информацией между машиной и человеком. Технология VR позволяет человеку взаимодействовать с машиной с новыми, ранее не используемыми методами. Поэтому VR имеет разнообразный пользовательский интерфейс или его возможную характеристику или целый ряд технологий, которые могут использоваться в интерфейсе. Необходимо определить новый тип пользовательских интерфейсов: естественный пользовательский интерфейс (NUI). В настоящее время мы переходим к эпохе 2 Геймдев (англ. gamedev) – сокр. Game Development, или процесс разработки игр. Обучающие приложения виртуальной реальности, использующие геймификацию, игровые механики, нарративные методики, балансные метрики, оценки вовлеченности и т.д. бесспорно стоит отнести к области разработки игр. 3 Пайплайн (англ. pipeline) – конвейер, в разработке программного обеспечения это – полный цикл процесса производства приложения. 317 NUI, которая использует естественные жесты и голос пользователя – и это происходит ещё в то время, как везде ещё широко используется привычный графический интерфейс. Примеры NUI включают пользовательский интерфейс на основе жестов с использованием волокон, магнитных датчиков и перчаток данных [10]. Пользовательский интерфейс, использующий физические устройства, точно распознает жесты пользователя, но конкретное физическое устройство должно быть прикреплено к пользователю. Другим примером является пользовательский интерфейс, основанный на голосе, который является самым универсальным и простым способом общения между людьми, что особенно логично использовать, если речь идёт о многопользовательском режиме для отработки работы в команде. С развитием новых тактильных устройств сферы применения NUI увеличиваются. Цель естественной парадигмы состоит в том, чтобы устранить барьеры и предложить стиль взаимодействия, более похожий на используемый в реальном мире; удобство использования жестов может обеспечить привлекательную и естественную альтернативу [11]. Тактильная обратная связь [12] может значительно повысить реалистичность при взаимодействии с виртуальными объектами в виртуальной среде. Как одно из решений достижения иммерсивности виртуальных тренажёров [13] является использование натурального интерфейса, а именно голосовых команд и перчаток с обратной связью для тактильных взаимодействий с виртуальными объектами. 4. Заключение Описанный автоматизированный подход для создания многопользовательских обучающих тренажёров с использованием виртуальной реальности позволяет включать в команду разработчиков не только IT- специалистов (3D-моделлеров, саунд-дизайнеров, создающих иммерсивное виртуальное окружение, и программистов, описывающих интерактивное взаимодействие объектов виртуального мира), но и консультантов по конкретной предметной области, не имеющих специальных IT-знаний, но выполняющих активную роль для интерактивного описания обучающей виртуальной среды (а не пассивную роль – лишь по постановке задачи). Многопользовательский режим значительно расширяет сферы применения обучающих тренажёров, для повышения иммерсивности используются элементы натуральных пользовательских интерфейсов, а для оценки иммерсивности и вовлеченности студента в процесс обучения – интерпретация бионейросигналов, основанная на кубе эмоций Лёвхейма [14; 15]. Работа выполнена за счет средств субсидии, выделенной Казанскому федеральному университету для выполнения государственного задания в сфере научной деятельности, проект ФПИ18-122 (0211/02.11.10122.001). 318 Литература 1. Choudhary K., Anuradha. A Proposed Model for Virtual Reality Based Smart Classes // International Journal of Information and Computation Technology. — 2013. — V. 3. — No 5. — P. 439-444. 2. Zikas P., Bachlitzanakis V. et al. Mixed reality serious games and gamification for smart education // Proceedings of the European Conference on Games-based Learning. — 2016. — 805 p. 3. Михайлов В.Ю., Гостев В.М., Кугуракова В.В., Чугунов В.А. Виртуальная лаборатория как средство обеспечения коллективной научно-методической работы // Сб. трудов XII международной конференции «ИТО-2002». Часть IV (Москва, 4-8 ноября 2002 г.). – Москва: МИФИ. — 2002. — С. 31-34. 4. Zhang K., Suo J., Chen J. et al. Design and Implementation of Fire Safety Education System on Campus based on Virtual Reality Technology // Proceedings of the 2017 Federated Conference on Computer Science and Information Systems, ACSIS. — 2017. — V. 11. — P. 1297–1300. 5. The VR Training Platform for Royal Navy // URL: https://immerse.io/qinetiq/ 6. Абрамов В.Д., Кугуракова В.В., Ризванов А.А. и др. Виртуальные лаборатории как средство обучения биомедицинским технологиям // Электронные библиотеки. — 2016. — T. 19. — №3. — C. 129-148. 7. Abramov V.D., Kugurakova V.V., Rizvanov A.A. et al. Virtual Biotechnological Lab Development // BioNanoScience. — 2017. — V. 7. — Is.2. — P. 363-365. 8. Kugurakova V., Abramov V., Abramskiy M. et al. Visual editor of scenarios for virtual laboratories // 2017 10th International Conference on Developments in eSystems Engineering (DESE 2017). — 2017. — P. 242-247. 9. Абрамов В.Д., Абрамский М.М., Кугуракова В.В. и др. Визуальный редактор сценариев для виртуальных лабораторий // Электронные библиотеки. — 2016. — Т. 19. — №6. — С. 483-501. 10. Kim S., Yeom S., Kwon O. et al. Hand-Mouse Interface using Virtual Monitor Concept for Natural Interaction // IEEE Access. — 2017. 11. Kaushik D.M., Jain R. Gesture based interaction NUI: an overview // Int. J. Eng. Trends Technol. — 2014. — V. 9(12). — P. 633–636. 12. Lin Z., Smith S. A natural user interface for realistic tactile perception of object surface texture // Proceedings — 9th International Conference on Intelligent Human-Machine Systems and Cybernetics, IHMSC 2017. — 2017. — 370 p. 13. Kugurakova V.V., Elizarov A.M. et al. Towards the immersive VR: measuring and assessing realism of user experience // The 2018 International Conference on Artificial ALife and Robotics. (ICAROB 2018). — 2018. 14. Kugurakova V.V., Talanov M.O., Ivanov D.S. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Procedia Computer Science. — 2016. — V. 88. — P. 217-223. 15. Kugurakova V.V., Ayazgulova K. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Proceedings of the Ninth Annual Meeting of the BICA Society 848. — 2018. — P. 209-216. 319 References 1. Choudhary K., Anuradha. A Proposed Model for Virtual Reality Based Smart Classes // International Journal of Information and Computation Technology. — 2013. — V. 3. — No 5. — P. 439-444. 2. Zikas P., Bachlitzanakis V. et al. Mixed reality serious games and gamification for smart education // Proceedings of the European Conference on Games-based Learning. — 2016. — 805 p. 3. Mikhaylov V.Yu., Gostev V.M., Kugurakova V.V., Chugunov V.A. Virtual’naya laboratoriya kak sredstvo obespecheniya nauchno-metodicheskoy raboty // Sb. trudov XII mezhdunarodnoj konferencii «ITO-2002». Chast’ IV. – M: MIFI. — 2002. — S. 31-34. 4. Zhang K., Suo J., Chen J. et al. Design and Implementation of Fire Safety Education System on Campus based on Virtual Reality Technology // Proceedings of the 2017 Federated Conference on Computer Science and Information Systems, ACSIS. — 2017. — V. 11. — P. 1297–1300. 5. The VR Training Platform for Royal Navy // URL: https://immerse.io/qinetiq/ 6. Abramov V.D., Kugurakova V.V., Rizvanov A.A. i dr. Virtual’nye laboratorii kak sredstvo obucheniya biomeditsinskim tekhnologiyam // Elektornnye biblioteki. — 2016. — T. 19. — № 3. — S. 129-148. 7. Abramov V.D., Kugurakova V.V., Rizvanov A.A. et al. Virtual Biotechnological Lab Development // BioNanoScience. — 2017. — V. 7. — Is.2. — P. 363-365. 8. Kugurakova V., Abramov V., Abramskiy M. et al. Visual editor of scenarios for virtual laboratories // 2017 10th International Conference on Developments in eSystems Engineering (DESE 2017). — 2017. — P. 242-247. 9. Abramov V.D., Abramskiy M.M., Kugurakova V.V. i dr. Visual’nyi redaktor scenariev dlya virtual’nykh laboratoriy // Elektornnye biblioteki. — 2016. — T. 19. — № 6. — S. 483-501. 10. Kim S., Yeom S., Kwon O. et al. Hand-Mouse Interface using Virtual Monitor Concept for Natural Interaction // IEEE Access. — 2017. 11. Kaushik D.M., Jain R. Gesture based interaction NUI: an overview // Int. J. Eng. Trends Technol. — 2014. — V. 9(12). — P. 633–636. 12. Lin Z., Smith S. A natural user interface for realistic tactile perception of object surface texture // Proceedings — 9th International Conference on Intelligent Human-Machine Systems and Cybernetics, IHMSC 2017. — 2017. — 370 p. 13. Kugurakova V.V., Elizarov A.M. et al. Towards the immersive VR: measuring and assessing realism of user experience // The 2018 International Conference on Artificial ALife and Robotics. (ICAROB 2018). — 2018. 14. Kugurakova V.V., Talanov M.O., Ivanov D.S. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Procedia Computer Science. — 2016. — V. 88. — P. 217-223. 15. Kugurakova V.V., Ayazgulova K. Neurobiological Plausibility as Part of Criteria for Highly Realistic Cognitive Architectures // Proceedings of the Ninth Annual Meeting of the BICA Society 848. — 2018. — P. 209-216. 320