Introducción a la realidad extendida: RA, RV y RM

Historia y evolución de la realidad extendida

A lo largo de la historia, el ser humano siempre ha buscado formas de expresar por medios visuales los frutos de su imaginación, su creatividad y su deseo de trascender el mundo físico. El objetivo es representar escenas, momentos y experiencias que permitan a los demás experimentarlas con todos sus sentidos, para convertir en realidad sus sueños, ambiciones y visiones o incluso vivir en mundos imaginarios.

Con la ayuda de la tecnología, podemos disfrutar de experiencias más reales y concretas en las que sumergirnos con todos los sentidos. Es posible gracias a la virtualización y la ampliación de la realidad, o combinando ambas en un entorno mixto. En este capítulo vamos a hablar de la realidad extendida (RE), que abarca la realidad virtual (RV), la realidad aumentada (RA) y la realidad mixta (RM). Antes de entrar en definiciones, empecemos con una breve historia.

De la Sala de los Toros al estereoscopio y el Sensorama

En la historia hay numerosos ejemplos del deseo de representar y experimentar las cosas visualmente. Podemos empezar nuestro viaje en la prehistoria y retroceder unos 15 000 años a Lascaux, una cueva situada en la actual Francia. Allí, nuestros antepasados crearon unas 600 pinturas murales de grandes animales en lo que se conoce como la Sala de los Toros. Se trata de una de las primeras representaciones que se conservan de la capacidad del ser humano para proyectar realidades más allá de su experiencia individual en un fragmento de tiempo determinado, para que los demás experimenten esas realidades sumergiéndose en imágenes generadas por otros.

Podemos encontrar muchos otros ejemplos a lo largo de la historia, pero un momento clave del uso de la tecnología fue 1838, cuando Charles Wheatstone creó un dispositivo diseñado especialmente para envolver al usuario en una experiencia virtual, con la invención del estereoscopio. El estereoscopio permitía a los usuarios ver una imagen independiente con cada ojo, para dar la sensación de ver una única imagen tridimensional. Supuso un gran avance, al ofrecer una experiencia de realidad virtual portátil y personalizada. En la actualidad, muchas personas recuerdan una versión modificada del estereoscopio, llamada View-Master, comercializada como juguete infantil.

En esta línea, también es importante mencionar la máquina Sensorama. Este dispositivo fue una de las primeras máquinas con tecnología multisensorial envolvente. El Sensorama, creado en 1962 por Morton Heilig, proyectaba imágenes en formato 3D estereoscópico, combinando sonido estéreo, una silla móvil para inclinar el cuerpo, viento y aromas. Este fue el primer sistema de realidad virtual.

A principios de los años noventa, se desarrolló el sistema CAVE (siglas en inglés de «entorno virtual automático de cueva») en la Universidad de Illinois. En este entorno inmersivo, se enfocan varios proyectores a las paredes de un espacio del tamaño de una habitación, en el que el usuario se pone unas gafas 3D para experimentar la realidad virtual. Este avance en los entornos simulados se utiliza hasta la actualidad en la ingeniería de productos, los simuladores de vuelo, la planificación de la construcción y otros sectores.

Últimamente, el campo de la RA/RV/RM se está centrando en medios más portátiles, realistas, personalizados y rentables para que la realidad virtual sea una herramienta omnipresente en una gran variedad de usos industriales y personales. En el futuro, estas herramientas y tecnologías estarán tan extendidas como los ordenadores personales y otros dispositivos inteligentes de la actualidad. Dentro de poco, nos costará recordar cómo era el mundo antes de la realidad virtual.

Definición de RA/RV/RM

Realidad aumentada

Según la Sociedad Suiza de Realidad Virtual y Aumentada (SSVAR), «la realidad aumentada (RA) superpone al entorno real del usuario contenidos creados digitalmente. Las experiencias de RA pueden ser desde textos informativos situados sobre determinados objetos o lugares hasta objetos virtuales fotorrealistas e interactivos. La RA se diferencia de la realidad mixta en que los objetos de RA (por ejemplo, imágenes o sonidos) se superponen al entorno del usuario, en lugar de integrarse en él».

Para entender mejor el concepto de realidad aumentada, solo hay que pensar en Pokémon GO. Este juego nos invita a buscar y capturar criaturas digitales (que no pertenecen a nuestro mundo físico), que se añaden como capas (hologramas) sobre el mundo real. O, por ejemplo, las películas de Iron Man, en las que el mundo analógico se complementa con elementos digitales.

Realidad virtual

«La realidad virtual (RV) es un entorno de usuario totalmente inmersivo que afecta o altera uno o varios estímulos sensoriales (por ejemplo, la vista, el sonido, el tacto y el olfato) y que puede permitir la interacción con esos estímulos sensoriales en función de cómo se relacione el usuario con el mundo virtual. En general, pero no siempre, la interacción tiene lugar a través de una pantalla colocada en la cabeza, el uso de audio espacial o de otro tipo o controladores de movimiento (con o sin estímulos o retroalimentación táctil)» (SSVAR, 2021).

Para entender mejor qué es la realidad virtual, podemos tomar como ejemplo la película Matrix. Son contextos en los que nos transportamos a mundos digitales virtuales y dejamos atrás nuestro mundo analógico (físico).

Pero ¿qué posición ocupan estas dos tecnologías, una respecto a la otra, y el mundo real frente al digital? Como podemos ver, la realidad virtual se basa en un entorno totalmente generado por ordenador. En cambio, la realidad aumentada se encuentra a medio camino entre el mundo digital generado por ordenador y el mundo real.

Realidad mixta

«La realidad mixta (RM) combina, sin que se note, el entorno real del usuario con contenidos creados digitalmente, de manera que ambos entornos coexisten y ofrecen una experiencia híbrida. En la RM, los objetos virtuales se comportan, en todos sus aspectos, como si estuvieran presentes en el mundo real: por ejemplo, quedan ocultos por los objetos físicos, su iluminación es coherente con las fuentes de iluminación reales del entorno y suenan como si estuvieran en el mismo espacio que el usuario. Y a medida que este interactúa con los objetos reales y virtuales, los objetos virtuales reflejan los cambios en el entorno como lo haría cualquier objeto real de ese mismo espacio» (SSVAR, 2021).

A veces, la RM puede confundirse con la RA y viceversa, ya que en ambas se mezclan el mundo real y el digital. La diferencia clave es que, en el entorno de la RM, podemos interactuar con los dispositivos digitales: no solo se superponen al mundo real, sino que son un componente más del mundo con el que podemos interactuar. En la RM, el mundo físico y el digital están interconectados, representados por una única realidad.

Pero tal vez sea mejor explicar estas tecnologías en un contexto más claro como, por ejemplo, mediante el «continuo de la virtualidad», un término acuñado en 1994 por Paul Milgram, Haruo Takemura, Akira Utsumi y Fumio Kishino. El continuo de la virtualidad es, básicamente, una escala que va desde el mundo real y la realidad física, situados en un extremo, hasta una realidad completamente virtual, en el otro.

La siguiente imagen también ilustra las diferencias entre la RV, la RA y la RM en sus contextos particulares de representación.

De izquierda a derecha: RV, RA y MR

A la hora de definir la RV, la RA y la RM, es importante recordar qué lugar ocupan dentro del marco de la realidad extendida (RE) que las engloba. La RE es el término que abarca estos tres campos más específicos: la RA, la RV y la RM.

Campo de visión

El campo de visión (FOV, del inglés field of view) es un concepto importante en la RE, tanto si hablamos de RV como de RA o RM. El FOV es el concepto que define cómo experimentamos la RE. Determina cuánto podemos ver e influye mucho en cómo nos sentimos y cómo interiorizamos la experiencia. Básicamente, el FOV es la cantidad del mundo observable que se ve en un momento dado. Se mide en grados. No solo es importante para definir la cantidad (el valor angular que alcanza), sino también la calidad. Se aplica al equipamiento que utilizamos en la RE, ya sean visores de RV o gafas de RM/RA. Por lo tanto, es importante ser conscientes de esta característica y comprobar lo que ofrecen los diferentes tipos de hardware de RE a este respecto.

Grados de libertad (DoF)

Hay dos niveles o grados de libertad (DoF, de degrees of freedom) que definen la calidad y el nivel de inmersión de las experiencias de RV y RA. Los llamamos nivel 3 (3DoF) y nivel 6 (6DoF).

Estos niveles de libertad nos los dan los visores de RV o, más concretamente, todo el sistema en el que se basa la experiencia. Por lo tanto, al utilizar visores de RV o RA, debemos fijarnos en el nivel de DoF que permiten, porque este parámetro afecta enormemente al tipo de experiencia inmersiva que ofrece el sistema.

3 grados de libertad (3DoF)

El nivel 3 reconoce 3 movimientos: el sistema detecta el movimiento de rotación de los ejes X, Y y Z (también llamados cabeceo, guiñada y alabeo), pero no el de traslación. No detecta el movimiento físico del usuario, sino que reconoce solamente los movimientos de la cabeza en estos tres ejes. Esto implica que el movimiento del usuario no se representa en el mundo virtual si camina, salta o se mueve hacia un lado.

Ejemplo de visor 3DoF: Oculus Go.

6 grados de libertad (6DoF)

El nivel 6 reconoce 6 movimientos: el sistema detecta los movimientos de rotación y traslación de un cuerpo en un espacio tridimensional. Por tanto, si una experiencia virtual tiene 6DoF, significa que el usuario puede rotar:

• Desplazamiento entre X e Y: cabeceo

• Desplazamiento entre X y Z: guiñada

• Desplazamiento entre Z e Y: alabeo

y, además, puede trasladarse:

• Movimiento ascendente y descendente a lo largo del eje Y: elevación

• Avance y retroceso a lo largo del eje X: avance

• Desplazamiento a la izquierda y a la derecha a lo largo del eje Z: desplazamiento lateral

Esto significa que los movimientos del usuario se reflejan en el mundo virtual no solo si mueve la cabeza, sino también si camina, salta o se mueve hacia un lado.

Ejemplo de visor 6DoF: Microsoft HoloLens 2.

¿Cómo funciona la RV/RA?

¿Cómo podemos experimentar la RV, la RA o la RM? ¿Qué necesitamos para poder transportarnos del mundo físico al virtual y cómo podemos superponer objetos digitales al mundo real o, incluso, interactuar con ellos y manipularlos? Dicho de otro modo, ¿qué hardware y qué software necesitamos?

La respuesta depende, por supuesto, de lo profunda y «real» que queramos que sea la experiencia. Por ejemplo, si tienes un smartphone (con sensores básicos como un acelerómetro y un giroscopio para la RV), lo más probable es que puedas disfrutar de una experiencia de RV o RA. Por ejemplo, para acceder a la RV solo se necesita un dispositivo como Google Cardboard y, naturalmente, una aplicación de RV o una experiencia de WebVR desarrollada en el formato y el contexto de un sitio web.

Tu smartphone es un dispositivo muy potente que te permite experimentar y alterar fácilmente el mundo físico que te rodea. Sin embargo, hay que entender la calidad de la experiencia que podemos obtener con un dispositivo móvil en comparación con la de un sistema diseñado y fabricado exclusivamente para ofrecer una experiencia de RV o RA, como un visor de realidad virtual. Observa, por ejemplo, las dos imágenes siguientes, que ilustran el uso de un smartphone para experimentar la RV y la RA.

Requisitos de hardware y software

Para experimentar la realidad virtual, aumentada o mixta de forma inmersiva, hay que utilizar una determinada combinación de elementos de hardware y software. Los niveles de inmersión, experiencia, sensación y realismo dependen de cómo se combinen esos elementos. Los smartphones ofrecen una experiencia poco envolvente. Pero, en el otro extremo de la escala, es posible alcanzar un alto grado de inmersión y sensaciones con dispositivos específicos, que suelen ser sistemas diseñados para empresas o para jugar a videojuegos.

Dispositivos de hardware para experiencias de RA/RV y RM

Por lo que respecta al hardware, hay todo tipo de dispositivos y objetos que ofrecen experiencias virtuales. La manera de usarlos y manejarlos depende del contexto concreto donde se apliquen y se utilicen. Por ejemplo, el uso personal (como visitar otros lugares a través de vídeos de 360 grados) requiere un cierto nivel de complejidad, pero la cosa se complica si queremos experimentar los videojuegos en un mundo virtual. Y los entornos de formación empresarial son mucho más complejos todavía.

Visores o dispositivos para la cabeza (HMD)

Según Wikipedia, «un head-mounted display (HMD) es un dispositivo de visualización que se lleva en la cabeza o como parte de un casco y cuenta con un pequeño sistema óptico de visualización delante de uno de los ojos (HMD monocular) o de los dos (HMD binocular). Los HMD tienen muchos usos, como los videojuegos, la aviación, la ingeniería y la medicina. Los visores de realidad virtual son HMD combinados con unidades de medición inercial. También existen los OHMD (del inglés optical head-mounted display), pantallas que se pueden llevar sobre el cuerpo, que reflejan imágenes proyectadas y permiten al usuario ver a través de ellas».

Hay dos tipos de HMD, según su forma de usarlos:

• Móviles, que no necesitan una conexión con otro dispositivo.
  Algunos ejemplos son Oculus Go/Quest y Daydream de Google.

• Conectados (tethered), que requieren una conexión a un PC o a una videoconsola.
  Algunos ejemplos son Oculus Rift S y HTC Vive.

Visores de cartón

Los visores de cartón permiten al usuario experimentar la realidad virtual de forma económica y accesible, utilizando un smartphone y aplicaciones de realidad virtual.

Un ejemplo de este tipo de visor es Google Cardboard.

Gafas de RA

Básicamente, se trata de unas gafas con la capacidad y las funciones necesarias para que los usuarios puedan disfrutar de una realidad mejorada. Las hay de distintos formatos y con diferentes niveles de uso; difieren principalmente en la capacidad de procesamiento, las características gráficas y el precio.

Algunos ejemplos son las Google Glass Enterprise y las gafas inteligentes Vuzix Blade.

Dispositivos de realidad mixta

Los dispositivos de RM ofrecen una experiencia inmersiva en la que se mezclan el mundo real y el virtual (digital). El usuario puede interactuar en el mundo real con los objetos virtuales como si fueran reales y puede tocarlos o cambiar su tamaño, entre otras cosas.

Algunos ejemplos son Microsoft HoloLens 2, Magic Leap 1 y NReal.

Pantalla de visualización de datos (HUD)

Una pantalla de visualización de datos (HUD, de head-up display) es una pantalla transparente en la que se proyecta información digital que mejora la información visual del mundo analógico.

Háptica

En las pantallas de RV/RA, las funciones hápticas ofrecen un grado adicional de inmersión. Además del oído y la vista, la háptica nos permite sentir y tocar. Algunos ejemplos de dispositivos hápticos son los guantes o asientos digitales y las plataformas de movimiento integradas con sistemas de RV/RA.

Creación de experiencias virtuales

Para poder experimentar otros mundos e interactuar con ellos necesitamos una plataforma de hardware (como se ha comentado en la sección anterior) y una plataforma de software. El software es lo que define las interacciones y las experiencias de los mundos que se superponen al nuestro o donde desconectamos de la realidad y nos sumergimos en otros entornos digitales.

Interacción persona-máquina

Es importante echar un vistazo a cómo ha evolucionado la interfaz persona-máquina (HMI), para entender cómo ha ido avanzando la interacción del ser humano con el mundo digital. Según explican Robert Scoble y Shel Israel en su libro The Fourth Transformation: How Augmented Reality & Artificial Intelligence Will Change Everything (La cuarta transformación: cómo la realidad aumentada y la inteligencia artificial lo cambiarán todo), hay cuatro momentos clave en esta evolución:

1. Escribir (texto).

2. Apuntar y hacer clic (ratón).

3. Tocar (smartphones, la modalidad dominante hoy en día).

4. Interactuar de manera natural (gafas de RM, ¿el futuro de la interacción?).

Esto nos lleva a pensar que nuestro cerebro funciona e interactúa en 3D: es nuestra forma natural de relacionarnos con el mundo que nos rodea. En realidad no estamos hechos para utilizar las pantallas bidimensionales, sino que nos hemos acostumbrado a ello. Y ahora que tenemos la posibilidad de interactuar en 3D, volvemos a las raíces de nuestra forma de interacción natural aunque, en este contexto concreto, la interacción sea digital.

Computación espacial

Según Simon Greenwold (2003), la computación espacial es «la interacción de una persona con una máquina en la que la máquina conserva y manipula los referentes de los objetos y espacios reales». La computación espacial es el paso imprescindible para avanzar de las interacciones bidimensionales a las tridimensionales. Shashi Shekhar y Pamela Vold, en su libro Spatial Computing (Computación espacial, MIT Press, 2019), la definen como «un conjunto de ideas y tecnologías que transforman nuestras vidas mediante la comprensión del mundo físico, el conocimiento y la comunicación de nuestra relación con los lugares de ese mundo y la navegación por esos lugares».

En el ámbito de la realidad extendida, significa que el sistema tiene una noción del espacio que lo rodea. Básicamente, el sistema utiliza el espacio que rodea al usuario como un lienzo para interactuar con él. Emplea las interacciones del usuario (como sus movimientos corporales, sus gestos u otras fuentes de datos) como información de entrada para las interacciones digitales, combinándolas con el espacio físico. La computación espacial permite mezclar el mundo real y el digital. También puede considerarse como el marco de software y hardware en el que se basan las experiencias de RE.

Hoy en día, la computación espacial ha alcanzado nuevas cotas: se han creado nuevas funciones y capacidades en el universo de la RE, gracias a los avances en las técnicas de imágenes 3D y los visores de RA/RV (o los sistemas híbridos que mezclan ambas modalidades), las gafas de RA y los sistemas hápticos que nos permiten interactuar con estas nuevas realidades de manera más natural y auténtica.

Dependencias de dispositivos y plataformas

Otra cuestión importante es qué tipo de RV/RA vamos a crear y para qué plataforma y qué dispositivos vamos a diseñar nuestro producto. Todo esto es fundamental a la hora de decidir qué necesitaremos para crear el mejor producto (o la mejor experiencia) posible.

Es un proceso complejo que requiere diferentes competencias y abarca diversos campos de especialidad. Se necesitan equipos interdisciplinares que colaboren, con el apoyo de expertos en diferentes ámbitos de la tecnología.

A continuación, resumimos algunas de las herramientas y plataformas de software que se usan para desarrollar proyectos de RV y RA:

• Modelado/escaneado en 3D: Blender, 3ds Max, MODO, Maya, SketchUP.

• Desarrollo de plataformas de RV y RA: Unity, Unreal, Amazon Sumerian.

• Frameworks y kits de desarrollo de software (SDK): ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK.

• Entornos web: AFrame, Web XR API, AR.js.