En este art culo se explican las areas de investigacion de la autoestereoscop a y se desarrolla un sistema de creacion de contenidos autoestereoscopicos en un motor 3D. Sobre este, se realiza un test de usuario para determinar cual de los metodos de con guracion de camaras propuestos es el mejor: el de ejes opticos convergentes dinamicos (EOCD), el de ejes opticos convergentes estaticos (EOCE) o el de ejes paralelos (EOP). El test evalua la calidad de la experiencia respecto a la velocidad, la molestia y determina la preferencia del usuario por uno u otro. El resultado del test muestra que existe una tendencia de preferencia por el metodo EOCD por su capacidad de mantener el foco de la accion n tido.
Los monitores autoestereoscopicos son una de las tendencias emergentes en el
uso de dispositivos de visualizacion, con un enorme potencial y en el cual la
generacion de contenidos todav a no esta su cientemente explotado. Las consolas de
Nintendo (3DS, new 3DS, etc.) han conseguido llevar la autoestereoscop a al
mercado, lo cual es un indicativo de que a pesar de que el publico sigue pre riendo
monitores convencionales, las nuevas tecnolog as estan empezando a
considerarse como un medio mas donde crear y experimentar contenidos especialmente
en el campo de los videojuegos. Las televsiones autoestereoscopicas de multiples
vistas (3DATV) permiten a multiples personas observar el mismo contenido en
3D en tiempo real sin ningun aparato extra, a diferencia de otras tecnolog as de
estereoscop a que requieren de conexion multijugador y gafas 3D. Cuando se crea
un videojuego para un monitor autoestereoscopico existen diversos problemas,
que desde el punto de vista del disen~o hay que tener en cuenta: Astenop a[
Para el desarrollo del trabajo se han creado diversas herramientas: Sistema de creacion de contenidos en un motor de videojuegos comercial, un videojuego tipo ARS (Autoestereoscopic Rail Shooter) y un cuestionario de evaluacion de la calidad de la visualizacion.
El art culo se organiza de la siguiente manera: en la seccion 2 se proveera una explicacion sobre el estado del arte relacionado con autoestereoscop a, videojuegos y experiencia de usuario con esta tecnolog a. En la seccion 3 constituye la hipotesis de partida. En la seccion 4 se explicara el metodo de creacion de contenidos: el sistema y el shader empleado. Finalmente, se mostraran los resultados y las conclusiones en las secciones 5 y 6, respectivamente. 2
Cuando se trabaja en la autoestereoscop a aparecen diversas areas de investigacion que buscan validarla. Entre ellas encontramos: el estudio de los problemas siologicos y f sicos que ocasiona sobre el ser humano, la experiencia de usuario (user experience o UX) y la calidad de la experiencia (quality of experience o QoE) y como in uye la estereoscop a en las capacidades y rendimiento humano. 2.1
Existen diferentes problemas relacionados con la visualizacion de contenidos
estereoscopicos y autoestereoscopicos.
1. La fatiga ocular o visual tambien denominada astenop a, se re ere una
reduccion del rendimiento del sistema visual humano provocado por una
tension siologica resultante de un esfuerzo excesivo [
El con icto de convergencia-acomodacion es un problema extensamente documentado, esta provocado por como los ojos estan acostumbrados a enfocar de una determinada manera y como engan~an al cerebro forzando un cambio en la manera de enfocar provocando efectos adversos.
La acomodacion de los ojos es el proceso mediante el cual estos organos
adaptan el cristalino para enfocar un objeto. Se lleva a cabo mediante el musculo
ciliar. Los ojos cambian la potencia optica modi cando la curvatura del cristalino
haciendo que el objeto se vea de nido.[
La convergencia, es el proceso por el cual ambos ojos se mueven en direcciones
opuestas, de forma que el objeto a enfocar quede enfocado en la retina[
La acomodacion y la convergencia se dan en conjunto y simultaneamente,
cuando el ojo humano enfoca un punto cercano, los ojos convergen hacia ese
punto, mientras que cuando enfocan a un punto lejano se quedan paralelos. Esto
sucede a la par que el cristalino se contrae y la pupila deja pasar mas o menos luz
para ver una imagen lo mas n tida posible (miosis). Al conjunto de acomodacion,
convergencia y miosis se le denomina comunmente triada acomodativa [
Cuando una persona mira a un punto, la distancia de acomodacion y la
de convergencia son la misma, as como el est mulo que va al sistema de
acomodacion y al de convergencia [
Algunas investigaciones establecen que favorecer constantemente el con icto
de convergencia-acomodacion no ocasiona fatiga ocular si la diferencia entre
distancias se mantiene en unos l mites [
Existen dos tipos de movimiento principalmente: el movimiento en el plano y
el movimiento en profundidad. Investigaciones determinan que el movimiento
planar con movimiento angular de los objetos provoca fatiga ocular [
UX es un termino dif cil de de nir en el ambito de la interaccion
humanocomputador. El consenso establece que UX es un termino de nido por 3
elementos: el usuario, el sistema y el contexto [
Los usuarios objetivos son jovenes que pierden el interes a medida que las
incomodidades o efectos siologicos de las 3DTV aumentan. Los contenidos que
demandan son los propios de una television normal, pero que ofrezca una
experiencia mas alla de objetos contenidos en una caja, que el contenido sea interactivo
y para varias personas. Segun [
[
Mas de 160 experimentos investigan sobre el rendimiento humano,
diferentes tareas y la diferencia entre resolverlas en un sistema estereo o un sistema
monoscopico. Un 60% de los sujetos resuelven mejor las tareas en estereo.[
La literatura existente hasta ahora deja una serie de gu as para mejorar la calidad
de experiencia de los usuarios en la visualizacion de medios estereoscopicos.
1. Los movimientos en profundidad han de ser suaves y lentos, la accion
principal se debe llevar a cabo en el plano cercano. Si el centro de atencion esta
en el plano cercano, los planos lejanos carecen de importancia y pueden ser
freneticos. Siguiendo estas directrices se reduce potencialmente el con icto
de convergencia acomodacion [
Centrando el trabajo en el punto 1, nuestra hipotesis establece que: si existe una escena donde la accion principal se mantiene en el plano cercano, dejar el plano de convergencia estatico favorecera la sensacion de tridimensional y otorgara la mejor experiencia de usuario. 4
Para la realizacion de este trabajo se ha desarrollado un sistema de creacion de contenidos autoestereoscopicos y se ha estudiado el funcionamiento del monitor empleado. 4.1
Dentro del motor, se necesitan 8 camaras con guradas para producir el efecto de autoestereoscop a, una camara de visualizado general y un quad (un pol gono de 4 vertices, formado por dos triangulos).
La con guracion de las camaras es sencilla, cada una de ellas debe de estar con gurada de forma que su viewport ocupe un octavo del campo de visualizacion. Esto es as puesto que cada una de las camaras plasmaran lo que la camara esta renderizando a una textura (Render to texture). Este paso inicial, provocara que dispongamos de un conjunto de 8 imagenes de 720x360 de resolucion distribuidas a lo largo y ancho de una imagen de 1440x1440 siguiendo la distribucion de 4 las y 2 columnas como se dispone en la gura 2a.
Cada una de las ocho camaras ha de estar separada de su vecina la istancia interpupilar, que debe de ser la distancia aproximada entre las pupilas. No obstante, a la hora de crear un videojuego donde se busca la mejor experiencia, (a) Render 8 camaras.
(b) Render entrelazado esta distancia puede variar en pos de la claridad y la reduccion de la astenop a. En su estudio Carlos Gonzalez et al. [18], demostraron que la con guracion que produce sensaciones mas naturales y realistas es la con guracion planar. Para el trabajo que aqu se expone, las camaras cuentan con parametros variables ya que la con guracion tambien es planar pero la orientacion de los ejes opticos sera modi cable.
Cada una de las 8 imagenes ocupa una posicion en el quad formando la imagen de 4 las y 2 columnas. Este sufre una transformacion en el shader que provocara la creacion de la imagen entrelazada para enviarla al dispositivo y permitiendo as la visualizacion en 3D. 4.2
Para conseguir la sensacion 3D es muy importante que la informacion
proporcionada por cada led de la 3DATV este ajustado a la con guracion de la barrera
lenticular que hay delante. Para ello, las 8 imagenes sufren un proceso de
entrelazado: de una imagen de 1440x1440 con 720x360 p xeles de informacion de cada
una de las camaras dispuestas en 4 las y 2 columnas (como se observa en la 2a)
.El resultado de este proceso es una unica imagen de 1920x1080 (mostrado en la
g 2b) que sigue el patron de distribucion RGB mostrado en la Fig.3 y contiene
toda la informacion de las camaras. La baja resolucion de las imagenes usadas
para el entrelazado, puede inducir aliasing que va en detrimento de la calidad de
la visualizacion. Sin embargo, aplicando un proceso de antialiasing a la imagen
de 1440x1440 que contiene las 8 imagenes de 720x360 deja de apreciarse.
4.2.1 Vertex shader Al Quad que se crea se le aplicara una transformacion
sencilla para convertirlo en un Full Screen Quad (FSQ), denominado as puesto
que pone la geometr a del quad ocupando la region de visualizacion, es decir,
coloca el quad delante de la camara. Dicha transformacion consiste en que las
coordenadas locales se modi can de forma que ocupen los extremos del clip space
(que es un espacio cubico tiene un rango de -1 hasta 1). Las coordenadas de
textura se con guran para que queden en el rango positivo. Este procedimiento
se puede observar en el algoritmo 1
Algorithm 1 Algoritmo para full screen quad
1: procedure VertexShader(DatosV ertice)
2: DatosP araF ragment:pos f loat4(DatosV ertice:pos:xy 2; 0; 1)
3: DatosP araF ragment:uv f loat4(DatosV ertice:pos:xy
f loat2(0:5; 0:5); 0; 1)
4: return DatosP araF ragment
+
4.2.2 Fragment shader En el fragment shader es donde se produce el
entrelazado (algoritmo 2). A este se le suministran datos sobre la posicion de las
coordenadas de textura cuyo rango es [
El sistema desarrollado parte de la la y columna del p xel. En funcion de la resolucion de salida y la coordenada de textura se puede obtener el numero que aparecer a en el patron de p xeles de la 3DATV(de nido en la funcion de la la 9 del algoritmo 2).
Hallado el numero del patron solo se conoce la camara de la que se obtendra la informacion R, G o B, falta determinar de que la y de que columna. Para hallar estos valores se han de realizar calculos con las resoluciones para hallar la coordenada a la que se ha de acceder de la textura no entrelazada y en funcion a esa posicion obtener el valor acorde al patron en R, en G y en B. El algoritmo 2 detalla en las las 5 y 6 la obtencion de dichas coordenadas.
Una vez obtenidos los valores de la la y de la columna locales de cada camara, para hallar el valor del texel es preciso que se halle la posicion donde empieza la informacion de esa camara en la textura de 1440x1440.( las 18-20 del algoritmo 2 ) Obtenido el valor del texel, es opcional realizar una correccion de color, que consiste en mezclar la informacion de la la del patron que se Algorithm 2 Algoritmo de entrelazado 1: procedure Entrelazado(F ragData) 2: f ila (1:0 F ragData:uv:y) (1080) 3: columna round(F ragData:uv:x 1920) 4: P atronRGB ObtenerP atronRGB(f ila; columna) 5: f ilaCamLoc (f ila)=3 6: colCam (columna) 3:0 7: R V alorRGB(patronRGB; f ilaCamLoc; colCam; 1) 8: G V alorRGB(patronRGB; f ilaCamLoc; colCam; 2) 9: B V alorRGB(patronRGB; f ilaCamLoc; colCam; 3) 10: Color f loat4(R; G; B; 1) 11: return DatosP araF ragment 12: procedure ObtenerPatronRGB(f ila; columna) 13: patronN ormal (3 ((1920 row 1) 1080 + columna)) mod 8 14: displacement (2 (row)=3) mod 8 15: adjustment (patronN ormal displacement) 16: pR adjustment < 0?8 + adjustment : adjustment 17: [:::] 18: return int3(pR; pG; pB) 19: procedure ValorRGB(patron; f ila; columna; RGB) 20: colCam (colcam RGB)=8:0 21: pixelCam f loat2(getCamera(pattern):y + colcam; getCamera(pattern):x rowcam 1) 22: texelV alue tex2D(M ainT ex; f loat2(pixelcam:x; pixelcam:y)=1440) 23: return RGB == 3?texelV alue:r : RGB == 2?texelV alue:g : texelV alue:b) repite con la informacion de la siguiente. Esto provoca que la transicion entre las imagenes del conjunto de camaras sea mucho mas suave. 4.3
Para la realizacion del trabajo se ha empleado una 3DATV que se caracteriza por generar el contenido a traves de una barrera lenticular. Este tipo de monitores suelen tener una distancia de visionado correcta de 4 metros.
Una barrera lenticular es una hoja transparente compuesta por lentes cil ndricas espaciadas uniformemente [19]. El conjunto de LEDs de la 3DTV o pantalla de difusion junto con la barrera lenticular permite visualizar y ocultar cierta informacion lum nica provocando el efecto 3D [19]. Este se obtiene mediante el fenomeno de refraccion de la luz, la barrera lenticular modi ca el camino de la luz de la pantalla de difusion para que a cada ojo de cada persona realizando la visualizacion le llegue una imagen distinta.
La pantalla de difusion sigue un patron de acceso a cada imagen espec co, detallado en la gura 3. Este patron, consiste en una redistribucion de la informacion RGB de cada una de las camaras siguiendo un orden concreto. La informacion de un pixel se puede hallar en una region de 3x9 p xeles de la imagen nal.
Como se menciono anteriormente, con este trabajo se busca hallar la con guracion de camaras optima para la visualizacion de contenido interactivo. La hipotesis del equipo es que si el plano de convergencia no var a, la sensacion 3D es mejor. A continuacion se desarrolla el experimento que busca validarla y la descripcion de los diferentes modelos de con guracion 5.1
Para la visualizacion se emplea una 3DATV de barrera lenticular de 46", fabricada por la compan~ a XyZ. Para la visualizacion de la escena (que consiste en una nave que navega por un campo de asteroides) se usa el motor de videojuegos Unity3D 5.2 [20]. La separacion de camaras es de 0.01 unidades y el mundo esta escalado a 0.03 unidades. El FOV de las camaras es de 30. Los ejes opticos de las camaras pueden cambiar el enfoque de paralelos a convergentes, obteniendo 3 metodos de con guracion 1. Ejes opticos convergentes dinamicos (EOCD). La con guracion de camaras es paralela, los ejes opticos apuntan al plano de convergencia situado en la nave,por lo que la distancia de convergencia var a durante la visualizacion.
camaras apuntan a un punto de convergencia estatico. 3. Ejes opticos paralelos(EOP). La calidad de la visualizacion se determinara mediante una con guracion de camaras paralela, con los ejes opticos paralelos tambien.
Con estos tres metodos se pretende evaluar la QoE durante la visualizacion 3D. Para ello se ha desarrollado un test de usuario para recoger las opiniones y obtener resultados sobre la QoE. Este evalua cada una de las experiencias otorgadas por los modelos en relacion a tres caracter sticas: velocidad, preferencia de metodo y molestia. La evaluacion var a en un rango de 5, la mejor calidad de visionado, a 1, la peor. En el caso de la molestia, se evalua en grado de molestia, siendo 5 la mayor molestia y uno la menor. A cada usuario se le presenta un cuestionario de evaluacion.
La velocidad se evalua variando la velocidad de los objetos desde lenta a normal, siendo lenta la mitad de la normal. Para evaluar la QoE respecto a la velocidad se sometera a los participantes a un visionado corto, de 30 segundos, de cada uno de los metodos a dichas velocidades. Tras cada uno de los periodos los usuarios evaluan el metodo respecto ala velocidad solamente. Los usuarios tambien han de evaluar que metodo les ha otorgado la mejor sensacion, lo cual se hace tras la nalizacion de las 3 visualizaciones.
(a) EOP (b) EOCD(en este caso los ejes convergen a diferentes puntos de profundidad),EOCE Para analizar la signi cancia estad stica de los resultados, se han aplicado los tests no parametricos de Friedman y Quade. Estos permiten medir la signi cancia estad stica de los resultados de los 3 diferentes experimentos, agrupando los resultados de los usuarios en rankings. Ambos metodos estad sticos utilizan la distribucion de Fisher para discernir la signi cancia de los 3 metodos. En este test se han utilizado 26 datos de usuarios diferentes (NB=26) y 3 metodos(NM=3). La distribucion sigue (NM-1) y (NM-1)*(NB). Como valor de la distribucion de Fisher obtenemos F(2,50)=5.9 con un nivel de con anza p=0.005, indicandonos que valores inferiores a este implicar an que no hay signi cancia estad stica suciente.
En las tablas 1 y 2 se muestran las medias obtenidas por cada uno de los metodos y entre parentesis su desviacion estandar (3 primeras columnas) y los dos test estad sticos aplicados (dos ultimas). La diferencia es que la tabla 1 muestra las medias del grado de preferencia y el de molestia y la otra tabla muestra la QoE atendiendo a la velocidad[21]. Al analizar los resultados de la tabla 1 puede observarse que la preferencia de los usuarios tiende a ser el metodo EOCD , puesto que la desviacion estandar sigue siendo alta respecto a los otros dos para poder diferenciarla claramente. En cuanto al grado de molestia, los metodos que peor rendimiento tienen son EOCE y el EOP. Lo que apoya la eleccion de el metodo 1 como tendencia a ser el mejor.
Respecto a la QoE segun la velocidad (atendiendo a los resultados de la tabla 2) se puede observar que a pesar de que la tendencia sea que la velocidad normal es la mas agradable, no se puede apreciar una clara diferencia entre ambas por la similitud de los resultados y por las altas desviaciones estandar. Esto puede ser debido a que mientras el movimiento de los componentes se mantengan en un rango de profundidad aceptable, no se aprecia una clara diferencia por una velocidad u otra. La lenta recibe esa puntuacion probablemente porque con los movimientos lentos el ojo puede divagar por la escena con mas frecuencia favoreciendo el con icto de convergencia-acomodacion
Respecto a la QoE, parece coherente pensar que mantener el plano estatico reduce los efectos adversos de la estereoscop a, puesto que se evitan cambios de enfoque y, por tanto, de nitidez en los objetos lejanos, provocando que este metodo sea el elegido por los usuarios por ser el mas agradable y el que mejor calidad otorga. No obstante, dados los resultados, la tendencia indica que lo que importa a los usuarios es que el foco de atencion se mantenga n tido siempre aun a riesgo de perder nitidez en la escena. Esto abre las puertas a nuevas lineas de investigacion sobre autoestereoscop a y la QoE de videojuegos autoestereoscopicos. 6
En este art culo se han explicado las diferentes areas de investigacion en torno a un monitor autoestereoscopico de 8 vistas de barrera lenticular, se ha hecho una descripcion del con icto de convergencia acomodacion, el efecto del movimiento y del rendimiento humano. Despues se ha desarrollado un sistema de creacion de contenidos autoestereoscopicos en un motor 3D resolviendo el problema de ajuste del entrelazado al patron del monitor. Tras esto, se presenta un test de usuario para determinar cual de los metodos de con guracion propuestos es el mejor: el de ejes opticos convergentes dinamicos (EOCD), el de ejes opticos convergentes estaticos (EOCE) o el de ejes paralelos (EOP). En la comparativa entre metodos se evaluan la velocidad y la molestia que provocan. Los resultados tienden a expresar que los metodos 2 y 3 provocan mas molestia que el 1, pero la signi cancia estad stica no es su ciente para que estos resultados sean concluyentes. En cuanto a la velocidad no se ha hallado ningun indicio signi cativo de que esta in uya en la percepcion de tridimensionalidad o que mejore la QoE.
Finalmente existe una tendencia a que el metodo de visionado de camaras paralelas con ejes opticos convergentes y dinamicos (EOCD) sea el preferido por los usuarios de videojuegos.
En este trabajo se abren nuevas areas de investigacion: la in uencia de la UI, el periodo de visualizacion, la complejidad del juego a nivel de disen~o, experiencia de usuario en diferentes entornos y tipos de juego. Ademas de establecer un consenso respecto a unas gu as de disen~o que exploten la capacidad de los videojuegos autoestereoscopicos. 7
Este trabajo ha sido respaldado por el Ministerio de Ciencia y Tecnolog a (TIN201675866-C3-1-R) y el plan de promocion de la investigacion de la Universitat Jaume I de Castellon (P11B2014-37). 16. Schild, J., Masuch, M.: Fundamentals of stereoscopic 3d game design. In: Proceedings of the 10th International Conference on Entertainment Computing. ICEC'11, Berlin, Heidelberg, Springer-Verlag (2011) 155{160 17. Jin, Z.X., Zhang, Y.J., Wang, X., Plocher, T. In: Evaluating the Usability of an Auto-stereoscopic Display. Springer Berlin Heidelberg, Berlin, Heidelberg (2007) 605{614 18. Gonzalez, C., Mart nez Sotoca, J., Pla, F., Chover, M.: Synthetic content generation for auto-stereoscopic displays. Multimedia Tools and Applications 72(1) (2014) 385{415 19. Onural, L., Ozaktas, H.M. In: Three-dimensional Television: From Science- ction to Reality. Springer Berlin Heidelberg, Berlin, Heidelberg (2008) 1{9 20. : Unity 3d game engine. https://unity3d.com/es Accessed: 2017-02-02. 21. Garc a, S., Fernandez, A., Luengo, J., Herrera, F.: Advanced nonparametric tests for multiple comparisons in the design of experiments in computational intelligence and data mining: Experimental analysis of power. Information Sciences Special Issue on Intelligent Distributed Information Systems.