Object tracking is a common process on Virtual Reality and Augmented Reality Applications. This process helps to create a more immersive experience. However, the high cost of tracking devices precludes the development of affordable applications. This work presents a low-cost 2D position tracker. The low-cost feature applies on both the hardware and software components. Additionally, this work includes user testing employing a prototype game application. The validation process proves that the proposed tracker achieves an acceptable performance on a context with low precision requirements. Resumen. El seguimiento de la posición de un objeto es un proceso recurrente en aplicaciones de realidad virtual y realidad aumentada que puede contribuir a que la experiencia de un usuario sea más inmersiva. Sin embargo, el alto costo de dispositivos de seguimiento hace que, en muchos casos, las soluciones que emplean este tipo de elementos se tornen económicamente inviables. Este trabajo presenta la propuesta y desarrollo de un seguidor de posición 2D de bajo costo, tanto en sus componentes de hardware como de software. Adicionalmente, realiza una validación del sistema implementado mediante una aplicación básica y pruebas de usuario. Este proceso de validación comprueba que el seguidor propuesto consigue operar correctamente en un contexto que no requiere de calidad de precisión milimétrica en la detección de la posición.
el uso del concepto de un observador con movimiento libre tiene una percepción muy
distinta al uso de un observador que se encuentra sentado. Aspectos como la percepción
de la profundidad, la percepción del movimiento de un objeto y su respectivo tamaño
pueden cambiar notablemente desde la perspectiva de los dos tipos de observadores [
Las tecnologías dispuestas para implementación de observadores con movimiento
activo en un entorno de VR constan principalmente de un head mounted display (HMD)
y un sistema de seguimiento de la posición y orientación de objetos. Durante mucho
tiempo, estas tecnologías fueron inaccesibles a una gran proporción de desarrolladores
e investigadores debido a sus altos costos [
Este trabajo presenta el desarrollo de un sistema de seguimiento de bajo costo y su respectiva prueba sobre una aplicación que no requiere de una alta calidad en el proceso de seguimiento de la posición. 2
En las últimas décadas, se han propuesto numerosas técnicas de seguimiento de
posición y orientación en el desarrollo de aplicaciones de VR y AR. Estas técnicas se
pueden agrupar por el tipo de tecnología empleada. Específicamente, se han identificado 4
tecnologías principales: infrarrojo, óptica, radio frecuencia y magnetismo. En primer
lugar, se tienen los sensores infrarrojos, que operan al detectar cambios de intensidad
en la luz infrarroja dentro del campo de visión de un sensor (puede ser una cámara).
Este método puede operar al detectar cambios de temperatura o cambios provenientes
de una fuente de luz activa [
Otros dispositivos que pueden no estar considerados dentro de la categoría de
VR/AR pero que de igual manera realizan un seguimiento de la posición de un objeto
son el Nintendo Wii, que opera al detectar la posición de emisores infrarrojos mediante
una cámara dispuesta en el mando [
En el trabajo actual, el sistema de seguimiento implementado está basado en la tecnología de luz infrarroja. En particular, esta propuesta está inspirada en el funcionamiento del mando del Nintendo Wii y en el proyecto open-source publicado en la plataforma Hackaday.io, VR Tracker [10]. Esta decisión se tomó debido a que este tipo de tecnologías no requiere de hardware de alto costo, tanto los sensores como los componentes de computación empleados pueden ser adquiridos a precios relativamente bajos en relación a otras aproximaciones. 3
A grandes rasgos, el funcionamiento del seguidor propuesto consiste en una cámara infrarroja dispuesta en el punto de referencia de posición que detecta la ubicación de un objeto portado por el usuario. En particular, se presenta el proceso de desarrollo y el resultado final de los componentes de hardware y software del dispositivo propuesto. 3.1
Con la finalidad de implementar un dispositivo que pueda ser detectado por una cámara infrarroja se propone el uso de un esquema simple compuesto por tres LED infrarrojos con una fuente de energía propia. El circuito correspondiente es presentado en la figura 1. El dispositivo portado por el usuario es fabricado a partir de una lámina de madera con un objeto esférico en el extremo, este objeto se emplea como plataforma para el circuito previamente descrito. El propósito de esta estructura es ubicar los tres LED en diversas orientaciones que cubran el mayor campo visual posible con el propósito de facilitar la identificación por parte de la cámara. En el otro extremo de la lámina de madera se sitúa el conector para la batería que operará como fuente de energía de los LED infrarrojos. Las respectivas conexiones constan de cables de cobre recubiertos convencionales. El resultado final de la implementación de este objeto es presentado en la figura 2. Posteriormente, se selecciona el elemento de cómputo que realiza los procesamientos necesarios para determinar la posición del objeto y comunicarlos a la aplicación de VR/AR. Con la finalidad de emplear un dispositivo de bajo costo se plantea la utilización del single-board computer Raspberry Pi Zero W. Este elemento es idóneo para la implementación del sistema de seguimiento debido al amplio soporte y documentación de la plataforma Raspberry y del sistema operativo Linux. Adicionalmente, este dispositivo cuenta con interfaces de red inalámbrica (WiFi y Bluetooth) y un puerto de conexión para cámara. Estos aspectos de conectividad resultan apropiados para la implementación de la solución. No obstante, para el presente trabajo hace uso del dispositivo Raspberry 3 en reemplazo del Raspberry Pi Zero W debido a que en el momento del desarrollo no se dispone del dispositivo mencionado. Sin embargo, se espera que el uso de ambos dispositivos sea indiferente al resultado esperado. Finalmente, la cámara seleccionada corresponde al módulo Raspberry Pi NoIR Camera Board, que resulta apropiada por las cualidades de conectividad previamente mencionadas. Una vez que se dispone de los elementos hardware necesarios para el identificador y el objeto identificado se procede a aplicar un filtro sobre la cámara infrarroja con la finalidad de facilitar la identificación de los LED dispuestos en el objeto portado por el usuario. Este filtro consta de un segmento de disco magnético, dicho material tiene la propiedad de evitar el paso de la luz visible, dando paso únicamente a la luz infrarroja. El resultado de la aplicación de este filtro es presentado en la figura 3. 3.2
Con el propósito de identificar la posición del objeto portado por el usuario a partir de las imágenes recopiladas por la cámara infrarroja se hace uso de técnicas de procesamiento de imágenes. En primer lugar, se realiza una transformación de la imagen a escala de grises. Posteriormente, se aplica un contraste sobre la imagen. Este proceso consiste en asignar un valor de 0 (negro) a los pixeles de la imagen que tengan un valor inferior a un umbral o threshold. A los pixeles restantes se les asigna un valor de 255 (blanco). El valor de threshold es definido empíricamente en un proceso iterativo para establecer el mejor escenario para la detección del objeto de seguimiento. Finalmente, se emplea un proceso de identificación de centroide sobre los pixeles blancos. Las coordenadas correspondientes a dicho centroide corresponden a la posición del dispositivo portado por el usuario. La figura 4 presenta los resultados de aplicar la transformación a escala de grises, contraste e identificación de centroide sobre la imagen recopilada por la cámara infrarroja. Fig. 4. Imagen adquirida por la cámara infrarroja antes (a) y después (b) de realizar el proceso de transformación a escala de grises, contraste e identificación del centroide El software empleado para realizar la recopilación de la imagen desde la cámara infrarroja corresponde a la librería Picamera [11]. Con la finalidad de realizar el procesamiento de imágenes mencionado previamente se emplea la librería OpenCV [12].
El proceso mencionado se aplica a las imágenes recopiladas a partir de un streaming de capturas de la cámara. Los datos correspondientes a las coordenadas del centroide para cada captura son enviadas mediante un socket UDP a la aplicación de VR/AR. De esta forma, se obtiene una lectura de la posición del objeto con una frecuencia igual a la tasa de frames por segundo de la cámara empleada, 90 fps en este caso. La figura 5 presenta un esquema general de la arquitectura desarrollada. Con la finalidad de validar la característica de bajo costo del dispositivo propuesto se realiza una recopilación de los precios de los elementos empleados. Dichos costos son presentados en la tabla 1. En particular, se aprecia que el sistema de seguimiento propuesto tiene un costo inferior a la mayoría de sistemas comerciales. Se puede observar, por ejemplo, que mientras que el mando del Nintendo Wii tiene un costo comercial (no de fabricación) aproximado de $35 US, el mando del sistema de seguimiento propuesto tiene un costo de $71,03 US con elementos adquiridos de forma individual que, adicionalmente, pueden exceder las características de precisión requeridas por el sistema.
Tabla 1. Costos del sistema de seguimiento propuesto
LED infrarrojo (x3) Lámina de madera (balso) Soporte esférico Batería de 9V Soporte de batería Raspberry Pi Zero W Raspberry Pi NoIR Camera Board Total
Precio $ 0,51 US $ 0,51 US $ 0,24 US $ 1,03 US $ 0,17 US $ 44.55 US $ 24.01 US $ 71.03 US Por ejemplo, el costo del dispositivo se reduciría notablemente si se emplea una cámara de baja calidad. Finalmente, se debe destacar que en este caso no se incluyen componentes de software debido a que todas las herramientas empleadas tienen la característica de open-source. 4
Con la finalidad de realizar una estimación de la precisión del sistema desarrollado, se plantea una prueba que consiste en la medición de la posición de puntos de referencia en un escenario de control. En particular, se definen dos escenarios. Para el primer caso, se establece una distancia de 80cm entre la cámara y la línea de medición. Posteriormente, sobre dicha línea, se define la distancia correspondiente al rango abarcado por el campo visual de la cámara, en este caso corresponde a 90 cm. Finalmente, se definen cuatro puntos intermedios que corresponden a las medidas a evaluar.
Fig. 6. Montaje para prueba de precisión del seguidor con las medidas correspondientes al escenario 1 Debido a que la resolución de la cámara empleada corresponde a 640 pixeles para el ancho de la imagen, es posible definir la posición del objeto en centímetros al relacionar este valor con la distancia abarcada por el campo visual (90 cm) y aplicar una transformación lineal al resultado medido por el sistema (resultado obtenido en pixeles).
La figura 6 presenta el montaje correspondiente para realizar la prueba. La tabla 2 contiene los resultados obtenidos para las cuatro referencias establecidas en el escenario 1. Posteriormente, se repite el mismo experimento en el escenario 2. En este caso, la distancia entre la cámara y la línea de medición se establece en 120 cm, con un campo visual sobre la línea correspondiente a 125 cm. Los resultados correspondientes son presentados en la tabla 3. A partir de los resultados presentados, se obtiene una noción de la precisión del dispositivo. En particular, se tiene que el promedio de la diferencia entre la posición esperada y la posición medida corresponde a 2.81 cm y 2.93 cm para los escenarios 1 y 2 respectivamente.
Tabla 2. Resultados de pruebas en el escenario 1: 80 cm a línea de medición y 90 cm (640 px) de campo visual Referencia Lectura de seguidor 18 cm 107 px 36 cm 261 px 54 cm 423 px 72 cm 527 px Promedio de diferencias
15.04 cm 36.70 cm 59.48 cm 74.11 cm Para ambos casos, el valor correspondiente a dicha diferencia no excede 3.5 % del campo visual total. A partir de este resultado, se obtiene una noción de la precisión del sistema de seguimiento para una aplicación que se despliegue entre los 80 cm y los 120 cm de la cámara infrarroja. 5
Con el propósito de validar el funcionamiento del seguidor implementado y validar su uso con usuarios en el contexto de una aplicación prototipo, se propuso el desarrollo de un juego de prueba basado en el seguimiento de la posición del elemento portado por el usuario. La figura 7 presenta una captura de pantalla del juego de prueba desarrollado. El proceso de desarrollo de esta aplicación se realizó mediante la plataforma Unity. En el juego, una serie de frutas se desplaza hacia la vista del usuario a diferentes velocidades. Según la velocidad, se asigna un puntaje a cada una de las frutas, entre más rápido se desplacen más puntos otorgan al usuario. El propósito del juego es la recopilación de la mayor cantidad de puntos capturando las frutas a través del recipiente que es controlado por el sistema de seguimiento.
En este caso, la aplicación desarrollada en Unity dispone de un puerto UDP que recibe los mensajes enviados por parte del sistema de seguimiento. El juego se desarrolla en un intervalo de tiempo en el cual el usuario debe recolectar la mayor cantidad de puntos, al cabo de dicho tiempo la aplicación informa al usuario el puntaje final.
Este juego fue desarrollado con la finalidad de implementar una aplicación que no requiera de gran calidad en el proceso de seguimiento. El proceso de captura de frutas está orientado a que la ubicación del recipiente en el juego no se tenga que realizar de manera exhaustiva para dar lugar a la recolección de una fruta. El código fuente del sistema de seguimiento y de la aplicación de prototipo están disponibles en un repositorio público con la finalidad de plantear una propuesta open-source [13]. 6
Con la finalidad de validar el funcionamiento del sistema de seguimiento propuesto se realizó una serie de pruebas en un conjunto de usuarios. En particular se definió un formulario para medir las características principales del sistema implementado. Específicamente se establecen las siguientes afirmaciones para que el usuario califique su grado de concordancia en una escala Likert de 1 a 7 donde 1 significa totalmente en desacuerdo y 7 significa totalmente de acuerdo: (A) es fácil mover el dispositivo en el escenario, (B) la posición del objeto en el juego corresponde a la posición del objeto real, (C) el movimiento del objeto real se observa rápidamente en el objeto del juego, (D) el uso del objeto real es cómodo, (E) la experiencia general de usar el objeto es buena.
Las pruebas fueron realizadas sobre 28 voluntarios, 17 hombres y 11 mujeres, entre los 7 y los 57 años con una edad promedio de 28,7 años (std 14,9 años). La figura 8 presenta los resultados promedio para cada una de las preguntas realizadas (en una escala de 1 a 7). Se puede observar que los usuarios tuvieron una percepción global positiva del sistema propuesto (todos los ítems se encuentran por encima de 4). Específicamente, el ítem con menor calificación corresponde a la posibilidad de ubicar el dispositivo en el escenario en una posición deseada. Por otro lado, el ítem con mayor calificación corresponde a la experiencia general del uso del dispositivo. Adicional a las preguntas, se dispuso de una sección para que los usuarios realizaran comentarios generales sobre el funcionamiento del sistema de seguimiento. En particular, la mayoría de usuarios que tuvieron comentarios al respecto mencionaron que se presentaba cierta dificultad para trasladar el objeto al extremo izquierdo del escenario del juego. Una proporción menor de usuarios mencionó que sería interesante trabajar en el movimiento del objeto para que sea más fluido. Finalmente, un usuario sugirió una alternativa para fabricar un objeto portado por el usuario de forma más ergonómica. 7
En el presente trabajo se plantea el desarrollo de un sistema para el seguimiento de la posición de un usuario. En particular, se consigue desarrollar un prototipo de bajo costo probado en el contexto de una aplicación prototipo con bajos requerimientos de calidad en el seguimiento. Las pruebas de usuario realizadas confirman un correcto funcionamiento del dispositivo y evidencian los puntos sobre los cuales se tiene que trabajar para mejorar el desempeño del sistema propuesto. Específicamente, se deben centrar los futuros trabajos a mejoras del seguimiento en los rangos extremos del campo de visión de la cámara. También se debe trabajar en métodos para permitir un movimiento más fluido en la posición detectada.
Finalmente, el trabajo futuro también estará centrado en agregar la tercera dimensión al sistema de seguimiento al añadir una segunda cámara para recopilar la información adicional requerida. 8. Y. Antonio and G. Vilas, “Overview of Virtual Reality Technologies,” Interact. Multimed.
Conf. 2013, 2013. 9. W. Zeng and Z. Zhang, “Multimedia at Work Microsoft Kinect Sensor and Its Effect,” pp.
4–10, 2012. 10. J. Thuillier, “VR Tracker,” 2016. [En línea]. Disponible en: https://hackaday.io/projects/hacker/109192. [Accedido el: 22-Jun-2017]. 11. D. Jones, “Picamera - Picamera 1.13 Documentation,” 2016. [En línea]. Disponible en: https://picamera.readthedocs.io/en/release-1.13/. [Accedido el: 22-Jun-2017]. 12. OpenCV Team, “OpenCV Library,” 2017. [En línea]. Disponible en: http://opencv.org/.
[Accedido el: 22-Jun-2017]. 13. J. F. Molano Pulido, “AI3D_Tracker_Project,” 2017. [En línea]. Disponible en: https://github.com/jfmolano1587/AI3D_Tracker_Project. [Accedido el: 22-Jun-2017].