Aplicación Móvil Basada en Realidad Aumentada para el Despliegue de Información de un Vehículo Cesar Enrique Flores Sandoval1, Huizilopoztli Luna-Garcia1, José M. Celaya- Padilla1, Carlos E. Galván-Tejada1, Jorge I. Galván-Tejada1, Hamurabi Gamboa- Rosales1, Miguel A. Fraire-Hernández1, Luis A. Flores-Chaires1,J. Guadalupe Lara- Cisneros1 1 Laboratorio de Tecnologías Interactivas y Experiencia de Usuario (LITUX), Universidad Autónoma de Zacatecas, Jardín Juárez 147, Centro Histórico, CP 98000, Zacatecas, México {cesar.flores, hlugar, jose.celaya, ericgalvan, gatejo, , hamurabigr, miguel.fraire, luischaires, jglara }@uaz.edu.mx Resumen. En la actualidad la tecnología crece de manera desmesurada a nivel global. El internet, la industria 4.0, la inteligencia artificial, la computación cuántica, la realidad aumentada, la realidad virtual, entre otras, han permitido este constante desarrollo tecnológico. Algunas de estas tecnologías comienzan a formar parte importante en la vida diaria de las personas, por ejemplo, la Realidad Aumentada ha tenido un gran avance e impacto en diversas áreas como la medicina, la educación, la agricultura, así como en diversos entornos industriales, entre otras. Derivado del sector industrial, la Realidad Aumentada es una de las tecnologías fundamentales en algunos procesos de la industria automotriz. Por tal motivo, en este trabajo se presenta el proceso para el desarrollo de una aplicación móvil tomando de base la tecnología de Realidad Aumentada con el objetivo de proporcionar una herramienta que permita a los usuarios de un vehículo particular realizar un diagnóstico inicial de algunos de sus componentes. Palabras Clave: Industria 4.0, Asistente Móvil, Realidad Aumentada. 1 Introducción En la actualidad las Tecnologías de la Información y Comunicación (TIC) juegan un papel muy importante en la mayoría de las actividades humanas, se destaca el uso de TIC en las industrias, el comercio, la educación, la ciencia, el entretenimiento, entre otras. Las TIC se ha convertido en un pilar de interacción y comunicación moderna para la sociedad y su presencia en nuestro entorno es innegable [1]. Gracias a la integración de estas tecnologías se han desarrollado campos especializados en diversas áreas de conocimiento, por ejemplo, el Aprendizaje Automático, el Big Data, la Realidad Aumentada, la Realidad Virtual, entre otras. Una de estas nuevas tecnologías que apuntan a mejorar nuestro entorno, es la Realidad Aumentada (RA) la cual de manera paulatina está adentrándose también en la vida diaria de las personas [2]. La Realidad Aumentada es un término que hace referencia a un grupo de tecnologías que permiten ver en el mundo real objetos virtuales o “aumentados” sobre Copyright © 2021 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). los ya existentes, estos objetos son generados por un equipo de cómputo, como un dispositivo móvil. Esta tecnología aspira a mejorar determinados entornos y ciertas acciones o situaciones en la vida diaria de las personas mediante la retroalimentación e interacción superpuesta en el entorno real [3]. Los dispositivos móviles o portátiles ya forman parte de la vida de casi todas las personas, existe una gran variedad de celulares, tabletas, dispositivos inteligentes y, en los vehículos de manera integrada brindando funcionalidad, seguridad y comodidad, tales como rastreo satelital, asistencia técnica, conectividad a Internet, entre otros [4], por ejemplo, en [5] se ha integrado en el tablero de un vehículo Hyundai tecnología de RA dinámica e intuitiva. Los dispositivos móviles, también se han convertido en herramientas muy útiles para los usuarios, por ejemplo, el uso de aplicaciones de Realidad Aumentada para diversos propósitos, entre ellos, diversión, entrenamiento o capacitación [6], por ejemplo, en [7] se ha desarrollado una aplicación de RA para uso exclusivo de los operadores ingenieros con el propósito de mejorar la inspección, el tiempo y los costos de mantenimiento de productos y maquinaria específica. La industria automotriz ha puesto especial atención en el desarrollo de productos y servicios basados en RA, este sector se ha enfocado en dicha tecnología para mejorar algunos procesos de construcción, mantenimientos, capacitación o entrenamiento [8], asimismo, se ha vuelto más competitiva e innovadora gracias a la incorporación de nuevas tecnologías que ayudan y asisten al conductor y pasajeros, mejorando los procesos de interacción y estadía dentro del vehículo mediante tecnología móvil o aplicaciones integradas en el “Sistema de Infoentretenimiento” [9,10]. Derivado de una búsqueda inicial en la literatura con el tópico relacionado, es posible mencionar que la industria automotriz dispone de tecnología de RA y personal capacitado para experimentar y resolver sus necesidades por medio de hardware robusto, avanzado, de alto costo y orientado a procesos industriales específicos, sin embargo, es importante mencionar que es poco el desarrollo de aplicaciones móviles basadas en RA que estas compañías han liberado a sus clientes [11, 12]. En este artículo se describe el proceso implementado para la construcción de una aplicación móvil basada en Realidad Aumentada. El objetivo de la aplicación es desplegar información relevante para el usuario de una manera intuitiva y responsiva al realizar una inspección general de ciertos componentes del motor del vehículo Toyota Tacoma1. 2 Etapas para la construcción del prototipo La Figura 1 muestra las etapas para la construcción de la aplicación móvil basada en Realidad Aumentada. Tecnologías de Modelado Desarrollo de la Software Y Pruebas 2D y 3D App Móvil Hardware 1 Todos los derechos reservados de cada una de las respectivas marcas. Figura1. Etapas para la construcción de la aplicación móvil. A continuación, se describen cada una de las etapas de la Figura 1. 2.1 Etapa 1: Tecnologías de Software y Hardware En esta etapa se realizó una revisión de literatura relacionada con los tópicos de Realidad Aumentada e Industria Automotriz, el objetivo fue identificar las Tecnologías de Hardware y Software actualmente utilizadas para el desarrollo de este tipo de aplicaciones. Derivado de la búsqueda en la literatura, se identificaron y seleccionaron las tecnologías Software que se muestran en la Figura 2 y se describen brevemente. Figura 2. Software utilizado para el desarrollo de la aplicación móvil2. Herramientas Software: • Unity, es una de las plataformas más usadas para el desarrollo de Realidad Virtual, Realidad Aumentada, videojuegos, entre otros. Este motor también permite migrar proyectos entre diferentes plataformas, asimismo, tiene vínculos con algunos sectores automotrices y algunos estudios para el desarrollo de videojuegos [13]. • Blender, esta herramienta de código abierto se usa para el diseño y modelado 3D, animación, renderizado, composición, entre otros [14]. • Vuforia, es una herramienta completa con la que es posible elaborar todo tipo de aplicaciones de Realidad Aumentada, reconoce tanto texto como imágenes y objetos 2D o 3D, existen otras herramientas derivadas de Vuforia como el Model Target Generator y el Object Scanner [15]. • Microsoft Visual Studio, es un entorno de desarrollo integrado para Windows y macOS, compatible con gran variedad de lenguajes de programación como C++, C#, Java, Python, Ruby, entre otros [16]. Herramientas Hardware: • El hardware seleccionado consiste en un teléfono celular inteligente con las siguientes características: S.O. Android, cámara frontal de 40 MP, procesador 8 núcleos, RAM 6GB. Se optó por usar el Sistema Operativo Android ya que es el S.O más usado a nivel nacional en México, con un 81.74% de población esto al mes de marzo de 2021 en comparación con iOS que tiene un 17.94% [17]. Asimismo, es importante mencionar, que la aplicación móvil puede ser ejecutado en dispositivos móviles con menores características. 2 Todos los derechos reservados de cada una de los logos y sus respectivas marcas. 2.2 Etapa 2: Modelado 2D y 3D Para el modelado del vehículo y las piezas seleccionadas para el despliegue de información se adquirió un modelo base 3D y mediante el software Blender se diseñaron y modelaron piezas específicas para el motor. Del modelo adquirido se removieron partes del vehículo no esenciales, para aligerar el procesamiento del modelo en el dispositivo móvil, para ello, el modelo se importó en formato obj o fbx con una carga poligonal no superior a los 430,00 polígonos. La Figura 3 muestra la fase inicial del modelo base en 3D. Figura 3. Modelo 3D base del vehículo. Una vez preparado el modelo base del vehículo, se diseñó la interfaz de usuario en 2D mediante la plataforma Unity, además, se incluyeron algunos objetos 3D simples para evaluar el comportamiento de objetos 3D procesados durante la ejecución de la aplicación, ver Figura 4. Figura 4. Diseño 2D de Menús y despliegue de información mediante etiquetas 3D. 2.3 Etapa 3: Desarrollo de la App Móvil En esta etapa, se generó el Model Target en la herramienta Model Target Generator (MTG), a partir de un modelo 3D. Usando MTG es posible generar y configurar los ángulos de detección del modelo en 3D a partir de los cuales se desea la perspectiva de interacción y retroalimentación “Aumentada” del objeto real en la aplicación móvil, ver Figura 5. Figura 5. Modelo 3D mediante Model Target Generator. Una vez generado el modelo 3D mediante MTG, este se integra en el modelo 3D base, asimismo, es posible añadir texturas, materiales, posición y se programó el comportamiento de la aplicación, ver Figura 6. (a) (b) Figura 6. Modelo 3D con texturas y detalles visuales. La figura 6(a) muestra el modelo generado en MTG y la Figura 6(b) muestra el modelo 3D optimizado. El modelo MTG sirve de marcador para detectar el objeto real y desplegar la RA, en este caso despliega el modelo optimizado en 3D. 2.4 Etapa 4: Pruebas Una vez concluido el desarrollo de la primera fase de la aplicación en Unity, el siguiente paso fue la integración en el dispositivo móvil y el despliegue para llevar a cabo las pruebas de funcionalidad, ver figura 7. (a) (b) (c) Figura 7. Capturas de ejecución y pruebas de funcionalidad. En la Figura 7(a) se observa como la cámara del celular apunta al vehículo Toyota Tacoma, la tecnología de Realidad Aumentada (RA) aún está inactiva; en la Figura 7(b) la tecnología de RA reconoció el vehículo, generando una retroalimentación visual al usuario, sobreponiendo el vehículo virtual sobre el real, esto indica que si fue activada dicha tecnología; finalmente, en la Figura 7(c) se aprecia el despliegue de etiquetas que identifican los objetos reales y se generan objetos 3D. Es importante mencionar que, en esta etapa inicial se despliega solo texto flotante que identifica el objeto real, asimismo, un cubo que sirve de base para el modelado 3D del objeto real del motor, el cual se planeta para la siguiente fase, donde adicionalmente, se incluirá mayor información del objeto de manera intuitiva. Este es un proyecto de desarrollo en curso, y que en este artículo se muestra el prototipo inicial de la aplicación con algunas pruebas básicas de funcionalidad, es posible ver el video del prototipo a través de este enlace: https://mega.nz/file/91ow3BKB#CH4cVzrvvcVHdTb3Vje_y4uVJaeDZKYeLfOiIAGTgcU 3 Conclusiones A lo largo de este documento se describió el proceso para la construcción de una aplicación móvil basada en la tecnología de Realidad Aumentada para el despliegue de información inicial del motor de un vehículo marca y modelo Toyota Tacoma. Gracias a un análisis y revisión inicial de literatura se logró identificar las principales tecnologías Hardware y Software utilizadas para el desarrollo de este tipo de aplicaciones, que, algunas industrias automotrices de alta gama usan en sus fábricas tanto para el área de calidad, ensamble y/o capacitación para su equipo técnico. Sin embargo, es posible mencionar que esta tecnología aún no está disponible para cualquier automóvil, en este sentido es posible demostrar que con las tecnologías de Hardware y Software es posible desarrollar aplicaciones basadas en Realidad Aumentada para cualquier vehículo usando tecnología de bajo costo. La selección e integración de las plataformas de Unity, Blender y Vuforia permitieron el desarrollo de un prototipo inicial que despliega etiquetas flotantes y un objeto 3D sobre los componentes reales del motor del vehículo indicando que componente es y su ubicación. Como trabajo futuro, se plantea el desarrollo de un proceso que permita al usuario realizar una inspección antes de iniciar un viaje en carretera, asimismo, realizar pruebas de funcionalidad y usabilidad de la aplicación móvil, que deriven en la mejora tanto del proceso, despliegue de información y usabilidad de la aplicación. 4 Referencias 1. E. Navas-Conyedo and J. Gulín González: Impacto Social de las TIC’s. (2020). 2. M. S. Gupte and P. A. R. Askhedkar, “An Innovative Wireless Design for a Car Infotainment System,” (2019) 1751–1754. 3. E. Bottani and G. Vignali, “Augmented reality technology in the manufacturing industry: A review of the last decade,” IISE Trans., vol. 51, no. 3, pp. 284–310, Mar. 2019. 4. H. Subakti and J. R. Jiang, “Indoor Augmented Reality Using Deep Learning for Industry 4.0 Smart Factories,”, (2018) in Proceedings - International Computer Software and Applications Conference, vol. 2, pp. 63–68. 5 “Hyundai Ioniq 5 | Augmented reality Head-up Display - YouTube.” https://www.youtube.com/watch?v=AE1urCK3iMU. 6. F. R. Pusda, F. F. Valencia, V. H. Andaluz, and V. D. Zambrano, “Training Assistant for Automotive Engineering through Augmented Reality,”,( 2019), Universidad de las Fuerzas Armadas ESPE Extensión Latacunga. Carrera de Ingeniería Automotriz. 7 F. K. Konstantinidis, I. Kansizoglou, N. Santavas, S. G. Mouroutsos, and A. Gasteratos, “Marma: A mobile augmented reality maintenance assistant for fast-track repair procedures in the context of industry 4.0,” Machines, vol. 8, no. 4, pp. 1–15, Dec. 2020, doi: 10.3390/machines8040088. 8. A. Z. A. Halim, “Applications of augmented reality for inspection and maintenance process in automotive industry,” J. Fundam. Appl. Sci., vol. 10, no. 3S, pp. 412–421, May 2018. 9. R. G. Boboc, F. Gîrbacia, and E. V. Butilă, “The Application of Augmented Reality in the Automotive Industry: A Systematic Literature Review,”,( 2020) Appl. Sci., vol. 10, no. 12, p. 4259,. 10. T. H. Tsai, H. T. Chang, M. C. Yu, H. T. Chen, C. Y. Kuo, and W. H. Wu, “Design of a mobile augmented reality application: An example of demonstrated usability,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2016, vol. 9738, pp. 198–205. 11. F. Bruno, L. Barbieri, E. Marino, M. Muzzupappa, L. D’Oriano, and B. Colacino, “An augmented reality tool to detect and annotate design variations in an Industry 4.0 approach,” (2019) Int. J. Adv. Manuf. Technol., vol. 105, no. 1–4, pp. 875–887. 12. Unity: (2020), https://unity.com/es/products/unity-platform. 13. Blender: (2020), https://www.blender.org/about/. 14. Vuforia: (2020), https://library.vuforia.com/articles/Training/getting-started-with-vuforia- in-unity.html. 15. Microsoft Visual Studio.: (2020), https://visualstudio.microsoft.com/es/vs/unity-tools. 16. “Mobile Operating System Market Share Mexico | StatCounter Global Stats.”, (2021), https://gs.statcounter.com/os-market-share/mobile/mexico. 17 E. D. Nava Orihuela, O. O. Vergara Villegas, V. G. Cruz Sánchez, R. I. Barraza Castillo, and J. G. López Solorzano, “Mobile Augmented Reality Prototype for the Manufacturing of an All-Terrain Vehicle,” Adv. Top. Comput. Vision, Control Robot. Mechatronics, pp. 49– 75, Apr. 2018, doi: 10.1007/978-3-319-77770-2_3.