Currently, virtual reality environments are limited by work space. Therefore, it is necessary to nd solutions for virtual experiences to take advantage of the available workspace. This paper proposes a method to take advantage of the workspace through the generation of geometrically overlapped spaces by using portals that are imperceptible to the user. Thanks to these portals it is possible to create a momentary break in the conventional Euclidean geometry, allowing to show di erent scenarios within a single physical space. Although this kind of e ect has been seen in conventional games, its application in virtual environments has several technical implications. These implications are detailed and de ned in this article. Likewise, the perceptual implications that this e ect could have on users are discussed, opening the possibility of new studies associated with this visual e ect.
Resumen Actualmente los entornos de Realidad Virtual estan limitados al espacio de trabajo del que disponen los usuarios, siendo necesario buscar nuevas formas de aprovechar al maximo este espacio disponible en los disen~os de experiencias virtuales. En el presente art culo se plantea un metodo de generacion de espacios geometricamente superpuestos mediante el uso de unos portales imperceptibles para el usuario. Gracias a estos portales es posible crear una ruptura momentanea en la geometr a euclidiana convencional, logrando as la generacion de in nitos mundos virtuales dentro de un unico espacio de trabajo f sico. Pese a que esta clase de efectos se ha podido observar en videojuegos tradicionales, su aplicacion en entornos virtuales tiene varias implicaciones tecnicas, las cuales son detalladas y de nidas en el presente art culo. As mismo, en este art culo se discuten las implicaciones perceptuales que este efecto visual podr a tener en los usuarios, abriendo la posibilidad a nuevos estudios asociados a este efecto de computacion gra ca.
Gra cos por ordenador
Interaccion
Actualmente, la tecnolog a de la Realidad Virtual (RV) es accesible para la gran mayor a de consumidores, siendo de vital importancia conseguir una correcta efectividad de los entornos virtuales mostrados. Un factor comun en la mayor a de experiencias virtuales es la facultad de desplazar al usuario a traves del entorno virtual. Para lograr este desplazamiento, existen los llamados metodos de locomocion, los cuales de nen una serie de pautas a seguir para lograr el desplazamiento del usuario de la manera mas realista posible.
Sin embargo, este realismo generalmente se ve limitado por el hardware
utilizado o las condiciones del entorno f sico donde se encuentra el usuario. Un
ejemplo de estas limitaciones es el metodo Room-Scale, que parece mostrarse
como el mas adecuado para la experiencia de usuario [
Con el n de suplir esta carencia del metodo Room-Scale y su locomocion
natural, se hace imprescindible la busqueda de nuevas soluciones que permitan
aprovechar el espacio de trabajo de una manera mas adecuada. Tanto es as
que existen soluciones que tratan de aprovechar mejor el espacio de trabajo a
partir de la aplicacion de modi caciones sutiles al movimiento virtual mostrado
respecto al movimiento f sico realizado por el usuario [
En el presente art culo, se propone una nueva y peculiar manera de dar
solucion al aprovechamiento del espacio de trabajo. Esta solucion se basa en la
creacion de entornos virtuales que, parcialmente, no siguen una representacion
de la geometr a eucl dea convencional [
La geometr a eucl dea es aquella que sigue los postulados de nidos por
Euclides [
Por el contrario, de nir una geometr a que siga unos postulados diferentes a los anteriores, implica que la geometr a es no-euclidiana. En el presente art culo se plantea la posibilidad de vulnerar parcial o momentaneamente estos principios geometricos, pudiendo representar espacios virtuales mas amplios superponiendo la geometr a dentro de un mismo espacio de trabajo disponible.
Para lograr este efecto visual en el entorno virtual, se ha propuesto e implementado la utilizacion de portales imperceptibles para el usuario que permiten vulnerar la geometr a eucl dea momentaneamente. En las siguientes secciones, se muestran posibles soluciones a este problema, as como las problematicas que las soluciones comunes suelen producir en RV. Finalmente se muestra una solucion matematica que logra este efecto visual de la manera mas realista posible y se concluye discutiendo los resultados del efecto visual logrado. 2.
Generalmente, la geometr a no euclidiana es referida a geometr as que
sustituyen postulados enteros de la geometr a euclidiana, dando lugar a otros tipos
de geometr as (como la el ptica o la hiperbolica [
Consecuentemente, a traves de modelos matematicos se consiguen desarrollar entornos virtuales que escapan de la percepcion espacial convencional. Sin embargo, debido a estos calculos especiales, las imagenes mostradas deben ser programadas de manera independiente a los motores gra cos convencionales, siendo dif cil su uso en aplicaciones dirigidas a los consumidores del sector del entretenimiento virtual.
Como se ha comentado anteriormente, se puede conseguir reutilizar el espacio
de trabajo si se vulnera momentaneamente la geometr a euclidiana a traves del
uso de portales. Esta solucion fue planteada por Erhardt [
Por otro lado, se pueden encontrar algunos estudios que tratan de resolver
diversas incognitas sobre la percepcion del usuario sin llegar a utilizar la tecnolog a
de la RV. Un ejemplo de esto es el estudio realizado por Ericson y Warren [
Actualmente existe la posibilidad de realizar estos experimentos a traves de la tecnolog a de la RV, pudiendose estudiar factores como la presencia, la percepcion espacial o la generacion de una topolog a cognitiva. Sin embargo, realizar 1 https://store.steampowered.com/app/400/Portal/ este efecto en tecnolog as inmersivas conlleva una serie de di cultades tecnicas y conceptuales que deben ser resueltas respecto a las soluciones presentadas sin este tipo de tecnolog as. 3.
La idea principal que transciende al efecto de los portales utilizada en entornos tridimensionales convencionales es la de capturar imagenes auxiliares previas al renderizado principal. Estas imagenes auxiliares son capturadas tomando como referencia el portal de destino, obteniendo las imagenes como si el renderizado principal se estuviera realizando desde all . En la Figura 1 se muestra como el resultado de las imagenes auxiliares debe ser posteriormente recortado y superpuesto al renderizado principal del entorno virtual.
(a) Camara principal (b) Camara auxiliar (c) Imagen nal Figura 1: Proceso generalmente seguido para la generacion del efecto de un portal en un entorno virtual tradicional (sin utilizar RV).
Mientras que la idea del efecto del portal podr a resultar sencilla, los
calculos asociados a este efecto pueden resultar mas complicados. Por un lado, una
camara auxiliar debe posicionarse y orientarse en el lugar adecuado respecto al
portal de salida. Por otro lado, la imagen generada por la camara auxiliar (ver
Figura 1b) debe ser ajustada al objeto pintado como rosa en la Figura 1a. Para
ello, se le debe indicar a la unidad de procesamiento gra co del ordenador que
aplique la imagen generada por la camara auxiliar utilizando las coordenadas
en pantalla (dando como resultado la Figura 1c). Esto se logra a traves de los
llamados shaders, que se encargan de dar las instrucciones de pintado de cada
objeto proyectado por la camara en la pantalla de nuestro ordenador [
Sin embargo, pese a que la idea principal de la generacion de estos portales es la indicada anteriormente, existen varias diferencias asociadas a la hora de aplicarla en RV. A continuacion, se muestran los puntos que deben ser tenidos en cuenta en el calculo de estos nuevos portales.
Se entiende como grados de libertad (DOF) a la disposicion que se le da al
usuario para desplazarse en un numero determinado de dimensiones [
Sin embargo, es comun en un gran numero de videojuegos que la camara del usuario no pueda utilizar la rotacion sobre el eje frontal (Z), proporcionandole unicamente 2DOF rotacionales y manteniendo el eje superior inmovil (Y ). De esta manera, el calculo del efecto de los portales puede verse notablemente simpli cado.
Si el portal de entrada y salida tienen una disposicion vertical, ya que siguen la misma orientacion que la camara principal en su eje superior (Y ), la rotacion de la camara auxiliar se traduce en una rotacion en un angulo determinado, el cual se realiza sobre este eje (ver Figura 2a).
Si unicamente el portal de entrada fuera vertical (siguiendo la misma orientacion que la camara principal), se podr a seguir el mismo proceso que el anterior, con ando en que la inclinacion resultante en la camara auxiliar sera la misma que la del portal de salida en su eje superior (ver Figura 2b). (a) Igual verticalidad (b) Camara y portal igual verticalidad (c) En realidad virtual Figura 2: Diferentes soluciones dependiendo de los grados de libertad del usuario y los portales.
Sin embargo, en RV se plantea el escenario mas complejo de todos, en el cual el usuario puede inclinar la cabeza de cualquier manera en 3DOF y la camara auxiliar utilizada para generar el efecto debe corresponder esa rotacion independientemente de la disposicion del portal de entrada y respecto a cualquier disposicion del portal de salida. En la Figura 2c se puede apreciar esta disposicion de los elementos intervinientes en el caso de la RV.
De esta manera, para lograr un correcto efecto visual de los portales en RV es necesario aplicar una serie de transformaciones tridimensionales. Para ello, es necesario conocer como funcionan las camaras encargadas de proyectar el espacio tridimensional en la pantalla de nuestro computador.
Cada elemento representado en el espacio tridimensional tiene asociado una
matriz de transformacion que lo ubica dentro de el [
Matriz de transformacion del portal de entrada: IT . No se hara referencia a sus componentes independientes.
Matriz de transformacion del portal de salida: OT . No se hara referencia a sus componentes independientes.
De esta manera, debido a que la matriz de transformacion de un elemento es aquella que lleva a ese elemento a su posicion real en el mundo (entendiendo que cada elemento inicialmente partir a del origen), una multiplicacion de un punto arbitrario sera transformado de igual modo. Consecuentemente, la inversa de la matriz de transformacion llevara un punto cualquiera del espacio a su posicion relativa a como estar a respecto a dicho objeto si este estuviera en el origen del mundo.
Atendiendo a esto, una expresion como IT 1CP indicar a la posicion de (CP ) respecto a la posicion, rotacion y escala del portal de entrada (IT ). Expresado de otra manera, esto indicar a la posicion de CP en coordenadas locales respecto de IT . As mismo, la expresion IT (IT 1CP ) devolver a a CP a sus coordenadas respecto al mundo o globales.
Posicion de la camara auxiliar Como se ha indicado anteriormente, los grados de libertad que tiene el usuario en RV pueden di cultar la realizacion del efecto de los portales. Atendiendo unicamente a la posicion del dispositivo y su camara principal asociada (CP ) se puede lograr un correcto posicionamiento de la camara auxiliar (AP ) en cualquier disposicion de los portales (IT y OT ).
Atendiendo a la ecuacion de re exion de un vector expresada como ~r(~v; n^) = ~v 2(~v n^)n^, la cual transforma el vector ~v 2 IR3 en el vector re ejado ~r 2 IR3 respecto al plano de nido por su normal unitaria n^ 2 IR3, la ecuacion de posicionamiento de la camara auxiliar se de ne de la siguiente forma.
AP = OT ( ~r((IT 1CP ); u^p)) (1)
Entendiendo u^p como el vector director unitario completamente vertical (h0; 1; 0i si el sistema de referencia utiliza el eje Y como el vertical), la Figura 3a representa el proceso que la posicion de la camara principal debe realizar hasta alcanzar la posicion de la camara auxiliar deseada en cualquier en el espacio tridimensional.
(a) Posicionamiento (b) Orientacion (c) Resultado nal Figura 3: Proceso para calcular una correcta disposicion de la camara auxiliar en los portales.
Lo interesante del metodo aplicado es que es capaz de respetar una diferencia de escalas entre ambos portales (IT y OT ). Por ello, es posible generar portales que disminuyan la escala del usuario al pasar por ellos, ya que la perspectiva generada por la camara auxiliar preserva estas diferencias escalares. Rotacion de la camara auxiliar Una solucion para rotar la camara independientemente de las disposiciones de los portales (IT y OT ) es analoga a la dada para el posicionamiento de la camara auxiliar. Es posible expresar una rotacion a traves de la utilizacion de una matriz de cambio de base. Este tipo de operaciones referente a la camara suele ser denominado como matriz LookAt. Esta matriz aprovecha que se parte de una base canonica para aplicar un cambio de base a la camara, consiguiendo as su respectiva rotacion. La nueva base sera ortonormal siguiendo un vector al que la camara debe apuntar (f~ 2 IR3) y un vector superior que de ne la orientacion ~u 2 IR3.
Para asegurar la ortonormalidad de la nueva base, se puede seguir el siguiente proceso para calcular la matriz LookAt(f~; ~u): 1. Se normaliza el vector f~ obteniendo el vector frontal resultante f~0 = f~~ . jjfjj 2. Se calcula el eje que falta de la base (~l 2 IR3) calculando el producto vectorial de estos dos ejes ~l = f~0 ~u. Posteriormente se normaliza obteniendo ~l0. 3. Se vuelve a calcular un nuevo vector superior a partir del producto vectorial ~u0 = f~0 ~l0.
Como se puede observar este proceso atiende a que los vectores f~ y ~u dados podr an no ser inicialmente ortonormales, dando una prioridad a f~ respecto de ~u. Adicionalmente, la funcion LookAt(f~; ~u) forma una matriz con ~l0, ~u0 y f~0 que es invertida, ya que se parte de una base canonica y se utilizara para obtener puntos rotados por esta nueva base.
De esta manera, gracias a esta nueva matriz de rotacion, es posible obtener de manera analoga al calculo de la posicion una rotacion independiente de la disposicion de los portales (IT y OT ). Esto se consigue obteniendo las transformaciones relativas de los puntos frontales (CP + CT (f r^ont)), entendiendo f r^ont como el vector frontal unitario h0; 0; 1i) y superiores (CP + CT (u^p)) de la camara principal del siguiente modo.
f~ = OT ( ~r((IT 1CP + CT (f r^ont)); u^p)) ~u = OT ( ~r((IT 1CP + CT (u^p)); u^p))
AR = LookAt(f~
AP ; ~u
AP ) (2) (3) (4)
En la Figura 3b y 3c se pueden observar estas operaciones, donde primero se obtienen las orientaciones de cada uno de los vectores directores de la camara auxiliar para su posterior posicionamiento.
Plano cercano de corte de la proyeccion Otro factor interviniente en el
calculo de la imagen generada por ordenador a partir de una camara es la
matriz de proyeccion [
Segun indico Lengyel [
q = M
2sgn(c~0x)3 1 6sgn(c0y)7 46 1 57
1
M4 3
Se debe aclarar que los sub-indices indicados en la Ecuacion 6 representan las respectivas las de la matriz original M en forma vectorial. Tras aplicar esta modi cacion sobre la matriz de proyeccion de la camara auxiliar se logra el efecto indicado en la Figura 4, logrando el consecuente comportamiento deseado en ambos portales. 3.2.
Cabe destacar que en RV, asociado al libre desplazamiento del usuario por el entorno, se dispone de dos representaciones en perspectiva del entorno virtual mostrado. A traves de estas dos perspectivas, se le muestra al usuario el mundo virtual representado de una manera independiente para cada ojo. El efecto producido por estas dos imagenes es denominado estereoscop a y supone repetir dos veces el proceso de renderizado.
Como consecuencia de la estereoscop a, es necesario tomar dos imagenes diferentes a partir de la camara auxiliar que hagan que la vision a traves del portal se muestre con la perspectiva adecuada para cada ojo. Es decir, al igual que el renderizado principal debe realizarse dos veces, cada portal que se muestre en pantalla debe calcularse el mismo numero de veces de manera independiente.
Cada imagen generada para producir esta estereoscop a tiene una separacion
que se debe corresponder con la separacion de nuestros ojos, tambien llamada
distancia interpupilar. Esta distancia interpupilar tiene una separacion de media
de 6;3 cm [
Cabe destacar que, en cierto punto, el usuario debe ser teletransportado al otro lado del portal cuando su cabeza se introduzca en el. Sin embargo, a causa de esta estereoscop a, podr a darse el caso de que solo uno de los dos ojos hubiera atravesado dicho portal. Esto tiene varias implicaciones tecnicas en el desarrollo de este efecto para realidad virtual:
Se debe tener un control activo del posicionamiento de las camaras principales, interviniendo la relacion automatica entre el movimiento del dispositivo virtual y su posicionamiento en escena. Esto se debe a que cada ojo puede estar desplazado espacialmente cuando el usuario se encuentra en el punto intermedio en el que cada ojo esta en un lado diferente del portal. Debido al plano cercano de proyeccion de las camaras que se ha mencionado anteriormente, es necesario teletransportar los ojos un poco antes de llegar dicho portal, ya que la imagen es generada con una pequen~a distancia al punto donde esta (la distancia del plano cercano de proyeccion). Consecuentemente, al teletransportar cada ojo se ocasiona un ligero incremento en la distancia interpupilar. Por ello, se aconseja reducir la distancia del plano cercano de la proyeccion de la camara principal lo maximo posible y de nir este margen en ambos lados del portal (IT y OT ) como este margen de teletransporte.
Mediante la sencilla solucion de estas di cultades encontradas, es posible lograr que el efecto sea bastante perfecto e imperceptible para el usuario, pudiendose formar de esta manera entornos parcialmente no euclidianos. 3.3.
Pese a que el efecto generado es correcto, es necesario tener en cuenta algunas consideraciones para una correcta percepcion del usuario. Como se ha comentado Figura 5: Imagen donde se ve un ojo a cada lado del portal, logrando una estereoscop a perfecta. antes, los metodos de locomocion requieren de ciertas pautas para lograr una mejor experiencia de usuario.
Consecuentemente, al atravesar el portal con una orientacion diferente, es
necesario que el usuario sienta que tiene el suelo a sus pies y que la fuerza de
la gravedad que percibe del entorno virtual se corresponda con la percibida por
su sistema vestibular [
Pese a que la intuicion nos lleve a pensar que el cambio de la gravedad puede afectar a la no deteccion de dichos portales, sucede justo al contrario. Gracias a este cambio en la direccion de la gravedad se consigue que el usuario perciba que sigue caminando sobre el mismo suelo, aunque virtualmente no sea de este modo.
La solucion presentada para lograr el efecto de los portales ha sido desarrollada en Unity 2019-3.0f5 y probada con el dispositivo de RV Oculus Rift S. Las indicaciones presentadas consiguen alcanzar un realismo exacto en la generacion de portales en entornos virtuales. En la Figura 5 se puede observar como se alcanza una correcta estereoscop a teniendo un ojo a cada lado del portal.
Para la futura evaluacion con usuarios del efecto visual mostrado, se han elaborado cuatro entornos experimentales diferentes, los cuales presentan de manera preliminar una correcta validacion del efecto deseado. Los planteamientos de estos entornos, son los siguientes:
Union basica de dos habitaciones mediante un portal.
Caminar por el techo de la misma habitacion tras pasar un portal. Union de mas de cuatro habitaciones con forma de L.
Escaleras, que al entrar en ellas, nunca puedes volver a la sala inicial.
Tras el analisis de estos entornos, se puede observar que las transiciones de los portales son suaves e imperceptibles, sobre todo cuando el usuario se desplaza de manera frontal hacia ellos, ya que traspasa los portales con ambos ojos de manera simultanea. La aplicacion del cambio de gravedad logra una correcta orientacion del usuario, haciendole percibir que la gravedad va siempre en sentido inferior y evitando los posibles mareos que otras orientaciones pudieran producir. 5.
El presente art culo ha presentado una solucion algor tmica a la generacion de portales no perceptibles para el usuario en entornos de RV. Esta solucion ha sido elaborada de manera matematica, haciendo uso de los conceptos existentes de la computacion gra ca y, en concreto, de la geometr a proyectiva. As mismo, la solucion planteada ha sido desarrollada y probada con dispositivos de RV para comprobar su correcto funcionamiento.
Gracias a la de nicion formal y algor tmica de los portales, se puede conseguir el efecto deseado, el cual puede servir para aprovechar de manera mas e ciente el espacio de trabajo f sico del que dispone el usuario. Queda en manos de los disen~adores de experiencias virtuales el organizar sus escenas de tal forma que se pueda aplicar este efecto al doblar una esquina o entrar por una puerta del entorno virtual, aprovechando as este espacio y mostrando mundos mucho mas amplios dentro de las limitaciones f sicas de espacio en el que se encuentre el usuario.
As mismo, la generacion de estos mundos virtuales que rompen momentaneamente la logica espacial o la geometr a euclidiana abren varias l neas de investigacion, ya que se desconoce que efectos puede tener en la mente del usuario percibir espacios f sicamente imposibles. De esta manera, se propone como l nea futura el analisis en factores como la presencia, analizando si estos portales pondr an romperla o si, por el contrario, muestran una manera valida y su cientemente realista de aprovechar el espacio de trabajo. Por otro lado, se podr an analizar las implicaciones que este tipo de espacios tendr an sobre la orientacion del usuario, pudiendo afectar a su memoria espacial.
En caso de obtener resultados positivos en este tipo de futuras investigaciones, se podr a validar este efecto para ser utilizado de forma habitual en videojuegos de RV.
Se agradece a David Calderon su inestimable colaboracion en el desarrollo del software asociado al presente art culo.