The aim of the work is to create applications for execution of practice works on the stand NI ELVIS II by National Instruments using augmented reality. To form proposals and obtain information about existing objects and the conditions for their interaction with virtual objects. The scheme of the development object is described, its main blocks are indicated. The information designed for the mobile operating system Android. A user holding a smartphone in their hand (or donning a special helmet) bring the device to the workstation. When the object camera is placed on the laboratory stand, the application starts the algorithm for comparing the captured image with the base markers, after which the analysis result appears on the screen. The user can be tested on the current laboratory work by testing their knowledge.
Прикладные дисциплины в высших учебных заведениях зачастую сопровождаются лабораторными практикумами, которые являются важной составляющей. Компания National Instruments разработала несколько лабораторных работ для курса «Электротехника», предлагая готовый инструментарий для проведения практики. Поставляемое в комплекте со стендом NI ELVIS II программное обеспечения позволяет отслеживать ход выполнения поставленных задач. Тем не менее некоторые студенты испытывают трудности на первых порах, поэтому было бы логично дополнить существующую систему обучения. Описанная в статье информационная система служит этим самым дополнением.
Актуальность данной разработки заключается в быстром темпе развитии
технологии дополненной реальности [
Основная функция приложения заключается в использовании дополненной реальности, дополняя реальную окружающую среду различными элементами. На экране мобильного устройства появляются пункты меню и другие трехмерные объекты, которые привязаны к определенному реальному предмету.
Перед разработкой были выполнены следующие шаги: 1. проведен обзор и анализ существующих аналогов; 2. исследованы методы; 3. изучены алгоритмы решения поставленных задач.
Далее было разработано программное обеспечение для выполнение лабораторной работы с применением дополненной реальности и проведен ряд экспериментов.
Стоит обозначить, какую информационную систему с дополненной реальностью можно считать таковой. Она должна выполнять следующие функции: 1. основываться на реальных объектах или окружающей среде; 2. взаимодействовать с реальными объектами или внешней средой в режиме реального времени; 3. иметь интерфейс, с которым может взаимодействовать пользователь в реальном времени.
Итого, подобная разрабатываемая информационная система должна взаимодействовать с реальными объектами. Это является важным момент при образовательной направленности.
Аналогичные приложения-помощники, использующие дополненную реальность:
Augmented Reality Development Lab. Экспериментальная лаборатория от
Digital Tech Frontier. Разработка позволяет создавать развлекательные и
образовательные проекты с применением интерактивных трехмерных объектов [
Physics Playground. Игровой движок для персональных компьютеров,
переросший в образовательное пособие по физике. В Physics Playground
моделируется трёхмерная среда с глубоким погружением, позволяющая
экспериментировать и изучать физические явления [
New Horizon. Приложение для мобильных девайсов для изучения
английского языка. Программа работает в связке со специальными бумажными
учебниками, при наведении камеры на страницу книги на экране возникают
дополнительные элементы [
Wearable Widgets для очков Google Glass. Набор программ для очков
дополненной реальности от Google. Пользователь может моментально проверить
почту, погоду или расписание [
Blippar. Программа распознает реальные объекты, приводя краткое их
описание окружающего нас мира. При наведении камеры на объект приложение
анализирует его и определяет, что находится перед человеком [
На основе проведенного обзора и анализа существующих решений, сформирован список ключевых требований к текущей информационной системе: 1. должен быть удобный графический пользовательский интерфейс; 2. должна быть образовательная значимость и помогать в процессе обучения; 3. должна работать на операционной системе Android; 4. должна иметь иметь поддержку шлема дополненной/дополненной реальности; 5. должна стабильно работать и не содержать критических ошибок, не позволяющие работать с программой. Схема работы информационной системы: 1. пользователь устанавливает программу на устройство под управлением
Android; 2. после установки исполнительного файла приложение запускается на мобильном устройстве; 3. в главном меню приложения можно сменить режим работы по нажатию кнопки; 4. завершение работы с приложением производится по нажатию кнопки «Выход».
Информационную систему можно было разработать с нуля, но в таком случае значительно снизился бы уровень определения объектов. Поэтому было решено взять за основу готовые алгоритмы и программные средства, позволяющие работать с дополненной реальностью.
Назовем основные принципы работы дополненной реальности: 1. используя маркеры – специальные изображения (метки), распознаваемые камерой смартфона, планшета и любого другого устройства. 2. используя текущее местоположение – применяется GPS, получая географические координаты и элементы, которые уточняют направление взгляда (компас и акселерометр). 3. SAR (Spatial Augmented Reality) – новая технология пространственной дополненной реальности, превращающая человека в маркер. Положение и движения отсиживаются с помощью камер, однако до конца технология не отточена. В нашем случае логично использовать технологию с применением маркерного метода. Она довольно точна в закрытых помещениях, в отличии от GPS, и дешевле, чем SAR.
В качестве среды разработки был использован фреймворк Unity3D [
Входными данными информационной системы является изображение, захваченное камерой смартфона или планшета. На полученную картинку в случае совпадения с базой данных меток накладывается графический интерфейс. Интерфейс состоит из кнопок, полей с текстовой информацией, изображений и трехмерных моделей. Модель работы приложения представлена на диаграмме вариантов использования (Рис. 1).
Рис. 1. Диаграмма вариантов использования модели программы «Информационная система для выполнения лабораторных работ по переходным процессам» После установки приложения пользователь запускает его на мобильном устройстве, после чего выбирает в главном меню один из режимов. Пункты меню: 1. «Инфо» – краткое описание каждого элемента рабочей платы при наведении камеры и электронная версия методических указаний; 2. «Старт» – пошаговое выполнение и инструкции по лабораторной работе; 3. «Стерео» – стереоскопический режим, при котором можно пользоваться приложением в очках виртуальной реальности; 4. «Тяжелый старт» – пользователь выбирает две точки на схемы, программа проверяет выбор на правильность и выдает сообщение о правильности или не правильности; 5. «Тест» – тестирование по теме лабораторной работы; 6. «Выход» – завершение работы приложения. Принцип работы программы: 1. пользователь открывает приложение; 2. в главном меню «кликает» по нужному элементу меню; 3. программа проводит анализ выбора пользователя и запускает нужный ему режим; 4. после завершения работы пользователь может сменить режим или выйти из приложения. Модули приложений: 1. графические модули; 2. модули передачи графического представления; 3. модули передачи и анализа данных; 4. модуль работы с дополненной реальностью. Как было сказано выше, разработка велась в среде Unity3D, в которой проводилась основная часть работы с использованием языка программирования C#. Присоединенный модуль Vuforia позволил создать метки для дополненной реальности. Для внедрения меток в приложение были сделаны фотографии лабораторного модуля стенда по электротехнике NI Elvis II. Фото были обработаны в графическом редакторе на персональном компьютере, после чего на сайте Vuforia скомпилирована библиотека меток.
Разработанное приложение позволяет пользователям не только пошагово выполнить лабораторную работу «Переходные процессы» по курсу «Электротехника» в двух режимах, но и открыть методичку, посмотреть информацию об электронных элементах схемы и пройти тестирование по теме работы.
Данная разработка особо актуальна в сегодняшние дни, так как область
дополненной реальности стремительно растет, по прогнозам аналитиков [
«Электротехника». Приложение может быть расширено другими лабораторными работами, выполняющиеся на плате NI Elvis II, без изменения принципа работы. В будущем возможно внедрение или создание аналогичных приложений по другим прикладным дисциплинам. Например, выполнение лабораторных работ по электронике или схемотехнике, физике или химии.
Теоретические результаты экспериментов подтвердили эффективность предложенных методов и алгоритмов, кроме того была показана жизнеспособность данной работы в будущем. Литература