Haptic gloves allow virtual reality environments and video games to increase their inmersion levels by providing vibrational feedback while the user manipulates virtual objects. The present work describes the design of a haptic glove capable of providing vibratory stimuli with variable feedback based on the proposal of using the physical interaction between virtual objects and the user's hand as the source of vibration intensity. The design is coupled with the development of application in the Unity game engine. The usability of the prototype and its capability of producing di erentiable levels of vibration was evaluated with real users. The levels of vibration were de ned as levels of 25%, 50%, 75% and 100% of the maximum vibration intensity, for which the usability tests showed that 76.92% of the users identi ed di erentiable levels of vibration. During the intensity tests, users were able to identify exact levels of vibration intensity with 56.19% of efectiveness and were able to identify levels within a range of 1 level of error with an e ectiveness greater than 90%. The nal prototype proved to be e ective, light, lowcost and comfortable to the user.
Resumen. Los guantes hapticos permiten aumentar la inmersion en ambientes de realidad virtual y videojuegos mediante la realimentacion de sensaciones vibratorias al manipular objetos virtuales. El presente trabajo describe el disen~o de un guante haptico capaz de proveer est mulos vibratorios variables basados en la propuesta de utilizar la interaccion f sica entre objetos virtuales y la mano del usuario para controlar la respuesta vibratoria. El disen~o esta acoplado al desarrollo de aplicaciones en el motor de videojuegos Unity. La usabilidad del prototipo y su capacidad de producir niveles diferenciables de vibracion fue evaluada con usuarios reales. Los niveles de intensidad de vibracion se de nieron como niveles de 25%, 50%, 75% y 100% de la intensidad de vibracion maxima, para los cuales las pruebas de usabilidad demostraron que el 76.92% de los usuarios percibieron niveles diferentes de vibracion. En las pruebas de intensidad, los usuarios diferenciaron niveles de vibracion exactos con una efectividad del 56.19% y diferenciaron niveles con un margen de error de 1 nivel de intensidad con una efectividad de mas del 90%. El prototipo nal demostro ser efectivo, liviano, de bajo costo y agradable al usuario. 1
El uso de guantes hapticos se ha popularizado en aplicaciones de realidad virtual y videojuegos gracias a sus capacidades para aumentar el grado de realismo en ambientes virtuales. Junto con exitosas tecnicas de hand tracking, los guantes permiten una mayor inmersion por medio de la realimentacion vibratoria de actuadores ubicados en diferentes puntos de la mano. La adicion de sensaciones hapticas o pseudo-hapticas permite agregar un mayor nivel de inmersion en la experiencia virtual. Gracias a esto, es posible crear aplicaciones mas e caces para rehabilitacion, entrenamiento quirurgico, aprendizaje, y otras.
Actualmente, los desarrollos encontrados en la literatura muestran la implementacion de soluciones capaces de variar la intensidad de vibracion en los actuadores de los guantes hapticos. Los trabajos de [4] presentan el disen~o de un guante con actuadores basados en cables de material con memoria SMA y un sistema propio de hand tracking para su uso en aplicaciones de realidad aumentada. Tambien, en [7] y [8] se presentan guantes con actuadores vibratorios con niveles de potencia variable. Por otro lado, en [5] se explora el uso de actuadores piezoelectricos y un esquema de control con realimentacion. La forma de controlar la vibracion en los actuadores tambien ha sido abordada mediante diferentes aproximaciones, por ejemplo, en [3] se documenta el desarrollo de interfaces hapticas basadas en la cinematica de la interaccion entre la mano y objetos virtuales, lo cual permite traducir propiedades como el peso y la rugosidad de las super cies en las diferentes sensaciones que se inducen en la mano del usuario. Por otro lado, [6] presenta un guante cuyas fuerzas de vibracion son controladas por un ambiente virtual mediante un proceso de renderizado haptico de tres fases, el cual incluye el calculo de fuerzas y variables f sicas en el mundo virtual.
Estos trabajos se han focalizado principalmente en el disen~o de hardware de
los guantes y actuadores hapticos, en los cuales el uso de motores vibratorios o
vibrotactiles ha presentado los mejores resultados. El uso de este tipo de guantes
en videojuegos y aplicaciones de realidad virtual y aumentada se puede
evidenciar en [
En el desarrollo de guantes hapticos, su uso en videojuegos y aplicaciones de
realidad virtual y realidad aumentada requieren de una funcionalidad de hand
tracking. Si bien algunos desarrollos como [4] incluyen estas capacidades, las
interfaces de programacion de soluciones comerciales como el dispositivo Kinect
de Microsoft y el sensor Leap Motion permiten utilizar sus funciones de hand
tracking con desarrollos externos, como el guante haptico desarrollado en [
Siguiendo estos antecedentes, se construyo un guante haptico con actuadores vibradores que explora, a traves del disen~o de software, la propuesta de utilizar la dinamica y la cinematica de la f sica de colisiones entre objetos virtuales para controlar la intensidad de vibracion en los actuadores, esto como una propuesta inspirada en los resultados de [3] y [6] al utilizar la f sica virtual para controlar las respuestas hapticas. El dispositivo fue construido para su uso en aplicaciones de videojuegos y de realidad virtual construidas en el popular motor de videojuegos Unity3D junto con el sensor LeapMotion para desempen~ar las funciones de hand tracking. El sistema fue evaluado mediante la metodolog a propuesta en [8] para determinar la capacidad de diferenciacion entre los niveles de intensidad producidos. 2
Para la evaluacion del desempen~o del prototipo se adopto una variacion de la metodolog a presentada en [8]. El diagrama en la Fig. 1 muestra la adaptacion de esta metodolog a para la experimentacion con el guante desarrollado.
A diferencia de [8], la metodolog a no incluye las pruebas de percepcion relativa y absoluta de fuerzas que se realizan en dicho trabajo. Como explican sus autores, las pruebas de percepcion absoluta de fuerzas no producen resultados relevantes en el experimento. Por otro lado, se considero que las pruebas de percepcion relativa no generan resultados signi cativos para el objetivo de la prueba, la cual es evaluar la capacidad del guante de generar niveles diferenciables de intensidad de vibracion.
En la Fig. 1, durante la primera fase se familiariza al usuario con el dispositivo mediante la activacion de los motores a diferentes intensidades, las cuales se de nieron como 25%, 50%, 75% y 100% de la intensidad maxima de vibracion. Estas intensidades se escogieron como valores equidistantes y fueron considerados su cientes para probar un nivel aceptable de diferenciabilidad por parte del guante. Por cada intensidad, los actuadores en el guante se encienden por 3 segundos y luego se desactivan por 3 segundos antes de continuar con el siguiente nivel de intensidad. La familiarizacion recorre los 4 niveles de intensidad en 3 ciclos. Una vez completados el usuario puede escoger la activacion de mas ciclos.
La etapa de evaluacion de intensidad consiste en activar durante 3 segundos los motores a uno de los 4 niveles de intensidad de forma aleatoria. Una vez contados 3 segundos, se le pregunta al usuario que nivel de intensidad percibio; la respuesta se registra y se le muestra al usuario la respuesta correcta. Como se realiza en [8], el proceso de activacion y pregunta al usuario se hace un total de 30 veces.
Al nalizar la evaluacion, el usuario hace uso del hardware completo en un juego que le permite manipular y sentir cilindros, esferas y cubos mientras los ubica en diferentes posiciones de nidas por el juego. Finalmente, una encuesta de usabilidad se entrega al usuario para evaluar su experiencia en el juego. 3 3.1
El disen~o de hardware comprende las funciones de hand tracking y las funciones hapticas de vibracion en el guante. Dado que el punto central del disen~o es el comportamiento haptico, el prototipo reutiliza las capacidades de reconocimiento de gestos del dispositivo Leap Motion para desempen~ar las funciones de hand tracking.
Para el disen~o del guante, se disen~o un sistema basado en el microcontrolador Atmega328p que controla la vibracion de 10 motores vibradores con un rango de funcionamiento de 3.3V a 5V como el que se muestra en la Fig. 2a. Los puntos de ubicacion de cada uno de los 10 motores se muestran en la Fig. 2b.
El sistema electronico se disen~o con el n de controlar la intensidad de vibracion de los motores a partir de un porcentaje de corriente maxima que se puede suministrar a los mismos. Adicionalmente, el sistema puede activar y desactivar cada uno de los 10 motores de forma independiente. El diagrama de caja blanca que describe el hardware y su ujo de datos se muestra en la Fig. 3.
Inicialmente, el software env a una palabra de control de 18 caracteres por un puerto serial. Dicha palabra contiene la informacion del porcentaje de la corriente maxima que se ha de suministrar a los motores y 10 caracteres que (a) Motor vibrador uti- (b) Puntos de ubicacion de los actuadores en lizado como actuador la mano derecha indican que motores han de ser activados, enumerados de acuerdo a como se ve en la Fig. 2b. Una posible palabra de control es:
\S0.540:UUDDDDDDDDE" El mensaje indica que se ha de suministrar el 54% de la corriente maxima a los actuadores y los motores 1 y 2 deben ser activados, mientras que los demas motores deben estar apagados. Los caracteres \S" y \E" indican el inicio y terminacion de la cadena de control. Al recibir el mensaje, el sistema veri ca el correcto formato del mismo (bloque de \Revision de formato") para responder a la aplicacion si la recepcion fue satisfactoria o si hubo un error (mensaje ACK/NACK). A partir del mensaje, se obtiene el porcentaje de corriente maxima y los bits de control de los motores (bloque de \Procesamiento de palabra de control"). En una previa caracterizacion de la vibracion de los mismos, se determino que los 10 actuadores funcionar an en un rango entre 110mA y 200mA.
La alimentacion de los motores esta compuesta por un regulador de voltaje variable con una entrada de 9V y controlado por un potenciometro digital. Tras recibir un valor de corriente desde el software, una regresion lineal entre la corriente de alimentacion de los motores y el voltaje sobre el potenciometro permite obtener el voltaje que corresponde a dicha corriente. El modulo de \Procesamiento de intensidad" realiza estos calculos para que el \Controlador de la fuente de voltaje" ajuste el voltaje del potenciometro hasta obtener el valor deseado, y por consiguiente la corriente deseada en los motores. Por otro lado, un modulo de \Procesamiento de motores por activar" controla un arreglo de compuertas que conectan y desconectan los motores de forma independiente de la fuente de poder mediante el modulo \Switch de motores independientes".
La Tabla 1 muestra las caracter sticas electricas y de conexion del guante construido1. La Fig. 4 muestra el prototipo nal.
Conexion a PC Tasa de comunicacion serial Maximo tiempo de lectura de puerto serial Maximo tiempo de escritura en puerto serial Tipo de alimentacion Voltaje de alimentacion Corriente de alimentacion 1 La corriente de alimentacion es una corriente m nima para el funcionamiento. Las pruebas de usuario se realizaron con un adaptador de hasta 2A de salida. Para la construccion de aplicaciones que utilizan el hardware se utilizo el popular motor de videojuegos Unity 5.5. Esta plataforma permite la integracion con el sensor Leap Motion y la comunicacion por puerto serial con el guante. Para calcular el nivel de intensidad de vibracion en el guante, se evaluan propiedades cinematicas y estaticas en las colisiones que existen entre los 10 puntos de los motores en el mundo virtual y los objetos a manipular. Se de nio que la vibracion esta compuesta en un 50% por la energ a cinetica de los objetos y en un 50% por las fuerzas de friccion entre objetos y los 10 puntos de contacto. La componente de energ a en la interaccion por cada punto de contacto del guante y un objeto virtual se calcula como:
Ek = Donde mp y vp son la masa y la velocidad del punto de contacto del motor; y mo y vo son la masa y la velocidad del objeto virtual manipulado. Por otra parte, la contribucion dada por la fuerza de friccion entre el objeto manipulado y el punto de contacto esta dada por: Donde es el coe ciente de friccion del objeto manipulado y Wproj es la proyeccion de su vector de peso sobre el vector normal que existe cuando se da la colision entre el objeto y el punto de contacto. Una vez obtenidos estos valores de energ a y fuerzas de friccion por cada motor que se encuentre en contacto con un objeto virtual, se realiza un promedio de fuerzas y energ a:
Ff =
jWproj j ; Ek = Ff =
Pn i=1 Eki ;
n Pn i=1 Ffi ; n (1) (2) (3) (4) Siendo n el numero de motores en contacto con un objeto virtual. Estos promedios permiten de nir un nivel global de intensidad de vibracion para los motores, ya que el control independiente de los mismos solo comprende la activacion y desactivacion, mas no niveles independientes de potencia por cada actuador.
Los promedios obtenidos son normalizados de acuerdo valores de energ a y fuerza maximos parametrizables y establecidos en el inicio del juego. Para el prototipo se utilizo un valor de energ a maxima de 0.75J y una friccion maxima de 58.8N; las cuales corresponden a sostener un objeto de 6Kg y transladarlo a una velocidad maxima de 0.5 m/s. La normalizacion es calculada como: E^k = min(0:75; Ek)=0:75;
F^f = min(58:8; Ff )=58:8 : Finalmente, la intensidad I de vibracion es un promedio de estos valores normalizados: Esta intensidad corresponde al porcentaje de corriente maxima que se ha de suministrar a los actuadores.
Para la implementacion de todos los calculos expuestos, se adicionaron cuerpos r gidos (componente Rigidbody ) en Unity tanto en los puntos de la mano virtual que representan los actuadores como en los objetos manipulados. Luego, cada objeto que puede ser manipulado es marcado como un objeto haptico con una etiqueta \HapticObj" y se agrega un material f sico con los coe cientes de friccion utilizados en los calculos. En la aplicacion, en cada cuadro que se ejecuta se veri ca que partes de la mano estan en contacto con un objeto haptico mediante la funcion de Raycasting con una distancia de 0.05 unidades en Unity con la con guracion de unidades dada por defecto2. Por cada punto de la Fig. 2b en el mundo virtual se obtienen las componentes de energ a y fuerza de friccion necesitadas si el objeto esta en contacto con un objeto haptico (determinado por la funcion de Raycasting ). Para determinar estos componentes, se implemento una clase Calculator que se encarga de realizar los calculos f sicos con las funciones GetKineticEnergyOfCollision() y GetFrictionForceOfCollision(): Algorithm 1: GetKineticEnergyOfCollision input : RigidBody CRv: Cuerpo r gido del punto virtual de la mano input : RigidBody CRh: Cuerpo r gido del objeto haptico output: oat Ke: Ener a cinetica de la colision Ke
21 (CRh:mass jCRh:velocityj2 + CRv:mass jCRv:velocityj2) Algorithm 2: GetFrictionForceOfCollision input : Vector3 n: punto normal de contacto de la colision input : RigidBody CRh: cuerpo r gido del objeto haptico input : PhysicMaterial pM : material del objeto haptico con coe cientes de friccion output: oat F r: Fuerza de friccion entre el objeto haptico y el punto virtual de la mano ! w p!rj F r
CRh:mass < 0; 9:8; 0 > projn !w pM:dynamicF riction
jp!rjj
Los valores obtenidos de energ a y friccion son promediados de acuerdo a la cantidad de contactos hapticos determinados por la funcion de Raycasting. Estos son luego normalizados y ponderados segun las ecuaciones 4 y 5. Finalmente se agrega la intensidad a la palabra de control enviada por el puerto serial. En la aplicacion construida se disen~aron 3 escenas, una para la etapa de familiarizacion, 2 1 unidad corresponde a 1 metro y 0.05 unidades equivalen a 5 cent metros otra para la etapa de evaluacion de intesidad, y el juego de manipulacion de objetos. La Fig 5 muestra la escena de juego con el hardware completo. 4 4.1
Se realizaron pruebas de intensidad con 7 usuarios entre los 22 y 24 an~os de edad. El grupo estaba compuesto por 3 mujeres y 4 hombres. Durante la fase de familiarizacion, luego de realizar el proceso descrito en la metodolog a de pruebas y en [8], ningun usuario solicito mas de 3 ciclos de activacion de intensidades una vez completada la etapa. La Fig. 6 muestra el porcentaje de aciertos acumulado por cada usuario a lo largo de la prueba de 30 intentos para los aciertos exactos (Fig. 6a), los casos en los que el usuario se desv a por exactamente 1 nivel de intensidad (Fig. 6b) y los casos en los que el usuario acierta con a lo sumo 1 nivel de desviacion (Fig. 6c); estos ultimos resultan en una suma de los aciertos de las dos guras anteriores.
En la prueba se vio que los porcentajes de acierto acumulados tienden a ser constantes luego de 20 intentos. Esto permite a rmar que con una prueba de 30 intentos se obtiene un resultado con able por cada usuario. La Tabla 2 resume las estad sticas de la prueba.
En comparacion con los resultados presentados en [8], el promedio de aciertos de los usuarios totales y sus aciertos dentro de un nivel de diferencia son mayores para el mismo numero de usuarios en las pruebas. Sumando estas tasas de acierto, para el prototipo construido, los usuarios son capaces de diferenciar niveles de intensidad en un rango de desviacion de 1 nivel con una efectividad (a) Porcentaje acumulado de aciertos (b) Porcentaje acumulado de aciertos con exactamente 1 nivel de desviacion
Usuario1 Usuario2 Usuario3 Usuario4 Usuario5 Usuario6 Usuario7 30
Usuario1 Usuario2 Usuario3 Usuario4 Usuario5 Usuario6 Usuario7 5 10 20
25 15
Intento (c) Porcentaje acumulado de aciertos con a lo sumo 1 nivel de desviacion del 91.9%. En cuanto al porcentaje promedio de aciertos de cada nivel de intensidad, se evidencio que los niveles de 25% y 100% son los mas diferenciables, y el nivel de 50% tiene una tasa aceptable de identi cacion; sin embargo, en repetidas ocasiones los usuarios confundieron el nivel de 75% con el nivel de 100%. Adicionalmente, se vio que los aciertos son mas altos en los hombres que en las mujeres, lo cual es un resultado que tambien se observa en los experimentos de [8]. 4.2
En la encuesta de usabilidad participaron un total de 13 personas, 2 de las cuales realizaron las pruebas de intensidad. La encuesta compuesta por 6 preguntas en una escala de Likert de 5 puntos indago sobre la comodidad del dispositivo, la diferenciacion de vibraciones en el juego de prueba, la velocidad de respuesta del guante, la coherencia entre las vibraciones y la interaccion virtual entre los objetos y la mano del usuario, el nivel de inmersion que proporciona el dispositivo y la facilidad que proporciona el guante para manipular objetos virtuales.
Siendo 1 el nivel menos satisfactorio de la escala y 5 el nivel mas asertivo, la Tabla 3 muestra los porcentajes de usuarios que respondieron valores entre 3 y 5 para cada tema evaluado por la encuesta, lo cual comprende el rango entre respuestas neutrales y respuestas completamente asertivas por cada pregunta.
Mujeres
Hombres Usuarios totales
Nivel de 25% de intensidad Nivel de 50% de intensidad Nivel de 75% de intensidad Nivel de 100% de intensidad Adicionalmente, el 91.67% de los usuarios a rmaron que utilizar an el guante en videojuegos y aplicaciones de realidad virtual. En la encuesta, los usuarios estimaron un costo del dispositivo entre los $27 USD y $110 USD, el cual es el rango real del costo de fabricacion del dispositivo y representa un costo relativamente bajo para sus capacidades.
Comodidad del dispositivo Diferenciacion de vibraciones Tiempo de respuesta del dispositivo Coherencia entre sensaciones e interacciones virtuales Nivel de inmersion Facilidad de manipulacion de objetos virtuales
De acuerdo a los resultados, el guante demostro cumplir con el objetivo de proveer est mulos variables basados en la f sica de interaccion entre la mano y los objetos virtuales. Esto con tasas de aceptacion superiores al 75% en los tems evaluados, a excepcion de la coherencia entre las sensaciones y las interacciones virtuales. Esto se evidencio visualmente en la realizacion de las pruebas en donde el dispositivo Leap Motion tuvo di cultades en reconocer la forma de la mano del usuario y sus gestos en el momento de utilizar el guante. Esto se debe principalmente a las dimensiones de la tarjeta de control ubicada en la region dorsal de la mano, las cuales resultaron ser mayores a las esperadas y, junto con las conexiones a los actuadores, generaban interferencia en los datos infrarrojos del sensor Leap Motion, causando representaciones virtuales irreales de la mano en ciertas ocasiones.
A pesar de esto, los resultados re ejan la alta asertividad de los usuarios frente al dispositivo de acuerdo con la alta comodidad percibida por los mismos; as como la in uencia que tiene el guante en mejorar la experiencia de realidad virtual, mejorando la manipulacion de objetos virtuales y aumentando el nivel de inmersion en la experiencia. Ademas, la implementacion de hardware demostro ser satisfactoria ya que los resultados demuestran que el guante tiene un tiempo de respuesta rapido y cumple efectivamente con el objetivo de producir niveles de intensidad diferenciables. 5
Los resultados de evaluacion de intensidad demostraron que la implementacion de hardware del disen~o de la Fig. 3 es capaz de producir est mulos diferenciables de vibracion; esto con un porcentaje considerable de aciertos en los cuales un usuario distingue vibraciones con un margen de error de 1 nivel de intensidad.
Las pruebas realizadas en el juego de manipulacion de objetos demostraron niveles satisfactorios en todos los tems evaluados a excepcion de la coherencia entre sensaciones e interacciones de objetos virtuales. Futuras implementaciones de hardware con componentes super ciales y disen~os mas pequen~os pueden evitar estos problemas de coherencia encontrados en las encuestas. De acuerdo a las pruebas realizadas en el juego de manipulacion de objetos, la capacidad de diferenciacion de vibraciones producidas por los est mulos variables del guante indican que, el uso de propiedades estaticas y cinematicas en la f sica de los objetos virtuales es una aproximacion satisfactoria para la generacion de sensaciones dinamicas en la mano del usuario.
Finalmente, el guante es una implementacion de bajo costo, comoda y agradable para el usuario. El disen~o de hardware permite generar diferentes niveles de vibracion con un alto grado de diferenciabilidad, los cuales son controlados efectivamente por la f sica de la interaccion entre objetos virtuales y la mano del usuario. 3. Kwok, L.H., Sun, H., Bach, G.: Physics-based Virtual-hand Picking in Robotic
Manipulation 4. Okumoto, S., Zhao, F., Sawada, H.: Tactoglove presenting tactile sensations for intuitive gestural interaction. In: IEEE International Symposium on Industrial Electronics. pp. 1680{1685. IEEE (may 2012), http://ieeexplore.ieee.org/document/6237343/ 5. Olsson, P., Johansson, S., Nysjo, F., Carlbom, I.: Rendering sti ness with a prototype haptic glove actuated by an integrated piezoelectric motor. In: Lecture Notes in Computer Science (including subseries Lecture Notes in Arti cial Intelligence and Lecture Notes in Bioinformatics). vol. 7282 LNCS, pp. 361{372 (2012) 6. Popescu, V., Burdea, G.: Virtual reality simulation modeling for a haptic glove. Computer Animation, 1999. pp. 195 { 200 (1999), http://ieeexplore.ieee.org/document/781212/ 7. Sziebig, G., Solvang, B., Kiss, C., Korondi, P.: Vibro-tactile feedback for VR systems. In: Proceedings - 2009 2nd Conference on Human System Interactions, HSI '09. pp. 406{410 (2009) 8. Winter, S., Bouzit, M.: Testing and Usability Evaluation of the MRAGES Force Feedback Glove. 2006 International Workshop on Virtual Rehabilitation pp. 82{87 (2006), http://ieeexplore.ieee.org/document/1707532/