Mobile Augmented Information System Sistema de Información Aumentada para Dispositivos Móviles Luis Ignacio Díaz BrainSins luis.diaz@wipley.com Resumen: Los teléfonos móviles se han convertido en una de las herramientas tecnológicas más extendidas en todo el mundo. La industria de los dispositivos móviles ha sufrido en la última década uno de los mayores avance tecnológico de la historia del hombre, y se ha convertido en una forma perfecta de interacción de las personas con el mundo que les rodea y con los sistemas de información. En el presente artículo se analiza esta situación y se describe un nuevo sistema de gestión de la información basado en la detección de objetos, su contextualización y aporte de valor para el usuario. Palabras clave: Dispositivo, móvil, sistema, recuperación de información, imagen, CBIR. Abstract: Mobile phones have become one of the most widely used devices throughout the world. The mobile device industry has become one of the greatest technological advance of human history in the last decade and a perfect way for people to interact with information systems. This article analyzes the situation and describes a new way for using systems based on content based information retrieval. Keywords: Device, mobile, system, information retrieval, image, CBIR. móviles [1]. De los cuales aproximadamente un 1 Introducción millón se encuentran suscritos a conexiones a Internet. La telefonía móvil generó en 2009 un total Un dispositivo móvil es un aparato cuyo fin agregado de 1.07 trillones de dólares [2]. principal es mantener comunicado, be in touch. Cantidad cercana a los beneficios obtenidos por Gracias a su pequeño tamaño y escaso peso son industrias consolidadas como la industria fáciles de transportar incuso en un bolsillo. automovilística o la alimentación. Baterías de alta duración y procesadores de bajo La proliferación de libros y estudios sobre consumo permiten largos periodos de uso sin dispositivos móviles así como la diversidad y recarga, incluso semanas en stand by. avances tecnológicos enfocados a este mercado Debido a la fuerte competencia de este lo convierten en uno de los sectores sector los cambios en estos dispositivos, su potencialmente más potentes para el futuro. variedad y características evolucionan Por ejemplo gran cantidad de marcas están rápidamente. Sin embargo se mantienen una reorientando sus modelos de negocio en esta serie de características comunes. La mayoría dirección, con la intención de expandir sus cuentan con una pantalla generalmente táctil y/o marcas, buscar nuevos clientes potenciales y un teclado que hacen posible la entrada y salida generar nuevas fuentes de ingresos. de datos. Los dispositivos y los usuarios avanzan a un El teléfono móvil se ha consolidado durante ritmo incansable. La innovación continua es el la última década como el principal dispositivo patrón de este segmento de las móvil en términos de usabilidad, tamaño y telecomunicaciones. Los usuarios necesitan características. Según la ITU (International cambios constantes, nuevas aplicaciones que Telecommunications Union) de las Naciones permitan y mejoren la interacción con la Unidas. A finales de 2010 aproximadamente 5 información y la experiencia en Internet. billones de personas utilizarán teléfonos Los patrones están cambiado, las tendencias uno. La aplicación captura el a la hora de buscar información han avanzado y movimiento del usuario a través de su el usuario medio exige nuevos sistemas para la móvil cuando están corriendo, calcula obtención de información. Aparecen diferentes sus rutas, velocidad media, intensidad sistemas de presentación de la información para de la ruta, etc. dispositivos móviles adaptados a las • Google Shopper: es una aplicación características intrínsecas de estos. móvil que permite a los usuarios sacar fotos de libros, CDs de música y otros 2 Móviles como interfaz de los Sistemas productos y obtener información de Información detallada del producto obtenida de Internet. Los teléfonos móviles incluyen cada vez Estas aplicaciones son claros ejemplos de más tecnologías que permiten desarrollar interacciones entre el mundo real y el mundo nuevas aplicaciones. Incluyen pantallas táctiles, digital, una interfaz permite el acceso y brújulas digitales, sensores de posicionamiento suministra datos obteniendo respuestas GPS, acelerómetros, cámaras, etc. complejas a actividades cotidianas y en La mayoría de estos sensores se orientan a principio sencillas. Como se ha podido desarrollar nuevos sistemas de interacción con comprobar es necesario integrar una gran el usuario como los inclinómetros, la brújula, cantidad de tecnologías para poder suministrar incluso la cámara. Esta integración de datos que las aplicaciones puedan utilizar para tecnologías pretende interconectar actividades obtener resultados complejos. cotidianas del mundo real con el mundo digital Una de las tareas de mayor complejidad se e Internet. De tal manera que a partir de los centra en mostrar la información al usuario a diferentes sensores de un terminal móvil se través de terminales móviles con las puedan reconocer digitalmente situaciones del limitaciones que esto conlleva. Es por esto que mundo real de una persona facilitando o aparecen nuevas tecnologías orientadas a mejorando actividades cotidianas. presentar la información al usuario. Las Actualmente se han lanzado algunas pantallas ocupan ahora todo el terminal iniciativas que potencian este concepto y la permitiendo incluir mayor cantidad de acogida por parte del publico general está información o de mayor calidad. A cambio, se siendo positiva. Algunas aplicaciones se sirven convierten también en dispositivo de entrada de de los datos agregados obtenidos por los datos lo cual complica la tecnología pero por lo terminales móviles para intentar cubrir o crear general simplifica la entrada de información. diferentes necesidades, por ejemplo: Pese a la resistencia al cambio, la desaparición • FourSquare, es una red social que de los botones parece inevitable. permite a los usuarios registrados Nuevas tendencias a la hora de presentar la compartir su localización geográfica información al usuario tratan de fusionar o con aquellos contactos que desee. De mejorar la visión real humana, como podría ser tal manera que se pueda conocer la por ejemplo la realidad aumentada. Esta localización geográfica concreta de tecnología superpone información digital sobre ciertos contactos, recibir avisos de imágenes reales en tiempo real [2]. Se trata de cercanía, ver restaurantes cercanos, etc. una de las tecnologías que ha tenido mayor La aplicación se encuentra disponible impacto sobre aplicaciones innovadoras [3], para los sistemas móviles más comunes incluyendo aplicaciones móviles [4,5] en los como iPhone, Android, Blackberry o últimos años [6] desde la aparición de las Palm entre otros. En este caso la últimas tecnologías sobre dispositivos móviles interfaz permite al usuario reconocer de manera sencilla lugares, personas o 3 Arquitectura del Sistema tiendas cercanas. • Strands es una red social de corredores El sistema recibe el nombre de Información que permite a los usuarios registrados Aumentada por que se sirve de la realidad conectar con otros corredores, aumentada para enriquecer la información que compartir rutas de entrenamiento así el dispositivo móvil sea capaz de interpretar y como la evolución personal de cada obtener de Internet. decir la información más relevante. Esta A nivel general el sistema muestra información será devuelta al terminal móvil. información adicional sobre lo que está El cuarto y último paso consiste en mostrar capturando la cámara del teléfono móvil. El la información al usuario sirviéndose para ello usuario abre la aplicación y esta conecta la de la realidad aumentada. Se superpondrá cámara, por la pantalla se muestra directamente información relacionada con el objeto lo que está captando la cámara pero se añade detectado, por ejemplo sobre un libro se puede información que se superpone a la imagen real. mostrar un agregado de valoraciones en medios De este modo el usuario enfocará la cámara sociales, un indicador con los mejores precios y hacia aquellos objetos que sean de su interés. la posibilidad de comprarlo, un botón para ir a Cuando la cámara capture el objeto, sea la información publicada relacionada con el reconocido, se encuentre información objeto en cuestión, etc. Toda esta información relacionada y relevante que mostrar al usuario, se superpone sobre el objeto de tal manera que se habrá generado información aumentada. aunque el usuario mueva el terminal y siempre que aparezca el objeto completo dentro de la pantalla la información quedará siempre sobre el objeto. Provocando la sensación al usuario de que la información se encuentra sobre el objeto y por tanto aumentando la información relacionada mediante realidad aumentada. Figura 2. Presentación de la información. Figura 1. Funcionamiento del sistema. La figura 2 muestra un concepto-idea de lo El primer paso consiste en capturar la que sería la presentación de información para el imagen y detectar la presencia de los objetos de usuario. Esta muestra de información es tan interés, un buen ejemplo podría ser un libro. solo una idea orientativa. Se podría incluso Para solucionar este punto se utilizará un interactuar con esta información situándola en algoritmo de preprocesado que conocerá la otro lugar, utilizar menús móviles para forma del objeto. Este algoritmo detectará la incrementar la cantidad de información forma, recortará la imagen eliminando la mostrada sin saturar al usuario. información irrelevante y asilando el objeto. El segundo paso consistirá en enviar la 4 Experimentos en reconocimiento de imagen del objeto acotado a un servicio web objetos que, a partir de sistemas CBIR (Content-Based Image Retrieval) o bases de datos basadas en Se han realizado una serie de experimentos contenido, determinará de que objeto se trata. para probar la validez del concepto y demostrar Por ejemplo si el objeto detectado por el su posible utilidad. Se pretendía probar que el terminal móvil es un libro este servicio web sistema CBIR mejora su índice de acierto devolverá el nombre del libro al terminal. cuando se utiliza un sistema de preprocesado Como tercer paso se lanza una petición a un que aísla el objeto en una imagen propia frente segundo servicio web que a partir del nombre a la entrada de la imagen bruta recibida del objeto y/o alguna de sus características directamente por la cámara del dispositivo como por ejemplo el nombre del libro, autor, móvil. Era necesario probar la respuesta de los género, etc. Se localizará información sistemas CBIR frente a imágenes reales del relacionada y se seleccionará aquella objeto tomadas en diferentes entornos con información que más interese al usuario, es iluminaciones distintas. La colección de objetos a probar en el móviles para detectar objetos concretos y experimento han sido portadas de discos dentro recuperar información relacionada de Internet de la carátula plástica, transparente y brillante. como por ejemplo valoraciones en redes En la figura 3 se puede observar la imagen sociales, precios, comentarios, etc. bruta. El recuadro verde indica que el algoritmo El algoritmo de preprocesado debería ser de preprocesado a detectado el objeto y en la mejorado para evitar falsos positivos así como parte superior izquierda se puede ver un nombre centrar la detección exclusiva de objetos de su y un número que son la respuesta del CBIR familia. para la entrada del resultado del preprocesado Se debería implementar un CBIR coherente (en blanco) y la entrada de la imagen bruta (en para cada familia de objetos, por ejemplo uno azul). El número indica el porcentaje de para libros, otro para CDs, otro para DVDs. certidumbre del CBIR, es decir el valor con el Incluso para familias concretas se deberían que el CBIR asegura la relación entre las dos definir subfamilias, por ejemplo para imágenes de la figura 4. videojuegos se podría crear una familia de objetos para plataforma pues presentan diferencias pese a tratarse del mismo juego. Uno de los problemas críticos detectados durante los experimentos es el relativo a los giros del objeto con respecto a la cámara, se debería implementar un corrector de inclinaciones para incrementar aún más el porcentaje de acierto, así como la ecualización de los histogramas de las imágenes antes de ser lanzados contra el CBIR. Bibliografía [1] http://www.unmultimedia.org/radio/english/ detail/90889.html Figura 3. Ejemplo de preprocesado con un [2] Azuma, R.: A survey of augmented reality. porcentaje de acierto del 27% para la imagen Presence: Teleoperators and Virtual preprocesada. Environments 6(4), 355–385 (1997) [3] Feiner, S., MacIntyre, B., H ¨ ollerer, T.: Wearing it out: First steps toward mobile augmented reality systems. In: First International Symposium on Mixed Reality (1999) [4] Henrysson, A., Olilla, M.: Umar - ubiquitous mobile augmented reality. In: Proceedings of the 3rd International Figura 4. Comparación de imagen Conference on Mobile and Ubiquitour preprocesada y portada del CD.. Multimedia, pp. 41–45 (2004) [5] Hollerer, T.H.: User interfaces for mobile El resultado del experimento fue positivo. El augmented reality systems. Ph.D. thesis, sistema de preprocesado mejora la asociación New York, NY, USA (2004). Adviser- de imágenes del CBIR en un 55% pese a la Feiner, Steven K. precariedad del desarrollo. El porcentaje de [6] Wagner, D., Schmalstieg, D.: First steps mejora del sistema queda limitado por el towards handheld augmented reality. In: correcto funcionamiento del algoritmo de Proceedings of the 7th International preprocesado, que funcionó con éxito en un Conference on Wearable Computers (2003) 57% de los casos del total de la muestra. 5 Trabajos futuros y conclusiones El sistema de Información Aumentada pretende utilizar las cámaras de los dispositivos