Introduzione alla realtà estesa: AR, VR e MR

La storia e l'evoluzione della realtà estesa

Nel corso della storia gli esseri umani hanno sempre cercato modi di esprimere la loro immaginazione, la loro creatività e il loro desiderio di oltrepassare i confini del mondo fisico. Lo scopo è quello di rappresentare scene, momenti ed esperienze che permettano agli altri di farne esperienza con tutti i loro sensi, offrendo l'opportunità di realizzare sogni, ambizioni e visioni – o anche di vivere in mondi immaginari.

Grazie al supporto della tecnologia, si possono avere esperienze più reali e concrete con la totale immersione dei nostri sensi. Ciò è reso possibile dalla virtualizzazione e dall'aumento delle nostre realtà o attraverso la combinazione di entrambe le cose in un ambiente misto. In questo capitolo si tratterà della realtà estesa (XR), la quale comprende la realtà virtuale (VR), la realtà aumentata (AR) e la realtà mista (MR). Prima di prendere in considerazione le singole definizioni procederemo a tracciare una breve storia.

Dalla Grande sala dei tori allo stereoscopio e alla macchina Sensorama

La storia fornisce molti esempi in cui si può riscontrare il desiderio di rappresentare ed esperire cose visivamente. Il nostro viaggio comincia nella preistoria e procede a ritroso di 15,000 anni fino a Lascaux (una caverna che si trova nell'attuale Francia).A quel tempo gli uomini crearono circa 600 pitture murali di grandi animali, anche note come la “Grande sala dei tori”. Si tratta di una delle prime rappresentazioni superstiti di una capacità umana di proiettare le realtà al di là dell'esperienza individuale in un certo frammento di tempo, permettendo così ad altri di esperire delle realtà attraverso l'immersione in immagini generate da altri.

Molti altri esempi sono reperibili nel corso della storia, ma un momento di svolta nell'utilizzo della tecnologia per creare un dispositivo appositamente pensato per immergere l'utente in un'esperienza virtuale avvenne quando Charles Wheatstone inventò lo stereoscopio nel 1838. Lo stereoscopio permetteva agli utenti di vedere due immagini separate per ogni occhio, creando così la sensazione di un'unica immagine in 3D. Si trattò di una svolta nella creazione di un'esperienza di realtà virtuale portatile e personalizzata. Molti ricorderanno una versione modificata dello stereoscopio chiamata Viewmaster, come un giocattolo per bambini.

A questo proposito bisogna ricordare anche la macchina Sensorama . Questo dispositivo fu uno dei primi macchinari dotato di una tecnologia immersiva multisensoriale. Creato nel 1962 da Morton Heilig, il Sensorama proiettava immagini in formato 3D stereoscopico, combinando un suono stereo, una sedia mobile per inclinare il corpo, getti d'aria ed aromi. Si trattava del primo sistema di VR.

Arrivando ai primi anni novanta, all'Università dell'Illinois venne sviluppato il sistema CAVE (Cave Automatic Virtual Environment). In questo ambiente immersivo multipli proiettori vengono diretti sulle pareti di una stanza, in cui l'utente indossa degli occhiali 3D per esperire la realtà virtuale. Questo balzo in avanti nella simulazione di ambienti viene tuttora impiegato nell'ingegneria dei prodotti, nelle simulazioni di volo, nella pianificazione di progetti di costruzione e in molto altro.

Al giorno d'oggi gli sviluppi nel campo della AR/VR/MR si muovono in direzione di una maggior portabilità e di mezzi più realistici, personalizzati ed efficienti dal punto di vista dei costi per permettere alla realtà virtuale di diventare uno strumento diffuso ovunque per un'ampia varietà di usi a livello industriale e personale. Nel futuro questi strumenti e queste tecnologie saranno tanto diffusi quanto oggi lo sono i personal computer e gli altri dispositivi smart. In poco tempo diventerà difficile immaginare com'era il mondo prima della realtà virtuale.

Definizioni di AR/VR/MR

La realtà virtuale

La “realtà virtuale (VR) è un ambiente interamente immersivo per l'utente il quale influenza o altera gli input sensoriali (per esempio la vista, il suono, il tatto e l'olfatto) e permette l'interazione con tali input sensoriali sulla base del coinvolgimento dell'utente nel mondo virtuale. Di solito, ma non necessariamente, l'interazione avviene attraverso un display montato sulla testa, attraverso l'uso di dispositivi di comando spaziale o di comando audio e/o di movimento (con o senza input o feedback tattile)”.

Al fine di comprendere meglio cosa sia la realtà virtuale, possiamo fare riferimento a Alice nel paese delle meraviglieo anche al film Matrix come esempi. Si tratta infatti di contesti in cui veniamo trasportati in mondi digitali virtuali, lasciandoci alle spalle il nostro mondo analogico (fisico).

La realtà aumentata

“La realtà aumentata (AR) sovrappone contenuti creati digitalmente all'ambiente reale dell'utente. Le esperienze di AR possono variare da testi informativi sovrapporti ad oggetti o luoghi fino a oggetti virtuali interattivi e fotorealistici. L'AR si distingue dalla realtà mista nella misura in cui gli oggetti di AR (per esempio grafiche e suoni) vengono sovrapposti e non integrati nell'ambiente dell'utente”.

Al fine di comprendere meglio il concetto di realtà aumentata basta pensare a Pokémon GO. Il gioco ci spinge a cercare e catturare creature "digitali" (che non appartengono al nostro mondo fisico) che vengono aggiunte come degli strati (ologrammi) al mondo reale. Oppure si pensi ai film della serie Iron Man, , dove per esempio il mondo analogico viene migliorato con delle interfacce digitali.

Ma come si relazionano queste due tecnologie tra di loro e rispetto al mondo reale e digitale? È facile vedere che, la realtà virtuale viene supportata da un ambiente interamente generato dal computer. mentre la AR si trova nel mezzo tra un mondo digitale generato dal computer ed il mondo reale-.

La realtà mista

“La realtà mista (MR) fonde senza soluzione di continuità il mondo reale dell'utente con contenuti creati digitalmente, per cui entrambi gli ambienti coesistono per creare un esperienza ibrida. Nella MR gli oggetti virtuali si comportano sotto tutti i punti di vista come se fossero parte del mondo reale, per esempio vengono coperti da oggetti fisici, la loro illuminazione è coerente con le effettive fonti di luce nell'ambiente, il suono che emettono sembra provenire dallo stesso spazio in cui si trova l'utente. Quando l'utente interagisce con gli oggetti virtuali e reali, gli oggetti virtuali riflettono i cambiamenti nell'ambiente come farebbero degli oggetti reali nello stesso spazio.”

A volte si confonde la MR con l'AR e viceversa nella misura in cui entrambe hanno a che fare con una mescolanza tra mondo reale e mondo digitale. La fondamentale differenza è che negli ambienti di MR, possiamo interagire con i dispositivi digitali – essi non sono semplicemente sovrapposti al mondo reale, ma diventano parte integrante del mondo in cui possiamo interagire con essi. Nella MR il mondo fisico e digitale sono interconnessi e rappresentano un'unica singola realtà.

Forse un modo per comprendere meglio queste tecnologie nel loro contesto specifico è attraverso il “continuum di virtualità”, un termine coniato da Paul Milgram, Haruo Takemura, Akira Utsumi e Fumio Kishino nel 1994. Il continuum di virtualità è fondamentalmente una scala che va dal mondo reale della realtà fisica ad un estremo fino al completamente virtuale della realtà virtuale all'altro estremo..

La seguente immagine illustra anche le differenze tra VR, AR e MR nei loro particolari contesti di rappresentazione.

Da sinistra a destra: VR, AR e MR

Quando definiamo la VR, l'AR e la MR è importante ricordare dove si collocano nella cornice più ampia della realtà estesa (XR). La XR è il concetto di riferimento che include i tre ambiti specifici dell'AR, della VR e della MR.

Campo visivo

Quello di campo visivo (CV) è un concetto importante nella XR, sia che si parli di VR sia che si parli di AR o di MR. Il campo visivo definisce il modo in cui si fa esperienza di realtà estesa. Esso determina l'ampiezza di ciò che risulta visibile e si ripercuote su come percepiamo e come internalizziamo l'esperienza. Il campo visivo è essenzialmente la porzione di mondo osservabile visibile in un momento dato e viene misurato in gradi. Ciò che conta non è solo la quantità (il valore dell'angolo che copre) ma anche la qualità. Ciò si applica all'attrezzatura impiegata nella XR, sia che si tratti di caschi per la VR o di occhiali per la MR/AR. È quindi importante conoscere e verificare cosa offrono i diversi tipi di hardware per la RX e cosa permettono di fare in questo campo specifico.

I gradi di libertà (Degrees of Freedom o DoF)

Ci sono due livelli o gradi di libertà (DoF) che definiscono la qualità ed il livello di immersione delle esperienze di VR e di AR. Essi vengono chiamati livello 3 (3DoF) e livello 6 (6DoF).

Tali livelli di libertà vengono forniti dai caschi VR o più precisamente dall'intero sistema a supporto dell'esperienza. Perciò, quando si fa uso di un casco VR o per AR si dovrebbe prestare attenzione al livello di DoF che consente,perché ciò ha un enorme impatto sul tipo di esperienza immersiva che si avrà.

I 3 gradi di libertà (3DoF)

Il livello 3 riconosce tre movimenti – il sistema traccia il movimento di rotazione lungo gli assi x, y e z (anche noti come assi di rollio, beccheggio ed imbardata) ma non il movimento di traslazione. Non riconosce il movimento fisico dell'utente ma solo i movimenti della testa lungo i tre assi. Ciò significa che l'utente non verrà rappresentato nel mondo virtuale se cammina, salta o si muove di lato.

Un esempio di casco con 3DoF: Oculus Go

I 6 gradi di libertà (6DoF)

Il livello 6 riconosce 6 movimenti – il sistema traccia sia il movimento rotatorio che quello di traslazione di un corpo in uno spazio 3D. Avere un 6DoF in una esperienza virtuale significa fondamentalmente che l'utente può “ruotare”:

• Muovendosi tra x e y - rollio

• Muovendosi tra x e z - beccheggio

• Muovendosi tra z e y - imbardata

e l'utente può anche “traslare”:

• Muovendosi in su e in giù sull'asse y - ondeggio

• Muovendosi in avanti e indietro sull'asse x - impennata

• Muovendosi a destra e a sinistra sull'asse z - oscillazione

Ciò significa che i movimenti degli utenti si rifletteranno nel mondo virtuale non solo se muovono la testa , ma anche quando camminano, saltano e si muovono di lato.

Un esempio di casco 6DoF: HoloLens 2 di Microsoft

Come funziona la VR/AR?

Come possiamo fare esperienze di VR, AR o MR? Di cosa abbiamo bisogno per venir trasportati dal nostro mondo fisico a quello virtuale, e come possiamo sovrapporre oggetti digitali al mondo reale e addirittura poter interagire con loro e gestirli? In altre parole, di quale hardware e di quale software abbiamo bisogno?

La risposta dipende ovviamente da quanto profonda e “reale” ci si aspetta che sia l'esperienza. Per esempio se si possiede uno smartphone (dotato di alcuni sensori di base come un accelerometro e un giroscopio per VR), si può molto probabilmente già avere un'esperienza di VR o AR. Per esempio per un'esperienza VR c'è bisogno anche solo di un dispositivo come Google Cardboard ed ovviamente di una app di VR o di un'esperienza WebVR sviluppata nel formato e nel contesto di un sito web.

Il proprio smartphone è un dispositivo potente che permette con facilità di esperire ed alterare il mondo fisico che si ha intorno. Ciononostante bisogna comprendere la qualità dell' esperienza resa possibile dal proprio dispositivo mobile in confronto a ciò che permette un sistema progettato e costruito apposta per fornire un esperienza di VT o AR, come un casco HMD (head-mounted display). Si considerino, per esempio,le seguenti due immagini, che illustrano l'uso di uno smartphone per un'esperienza di VR e AR.

Requisiti hardware e software

Per fare esperienze di realtà virtuale, aumentata o mista in modo immersivo serve la giusta combinazione di elementi hardware e software. Il livello di immersione, esperienza, sensazione e realismo dipende da questa combinazione. Gli smartphone forniscono un'esperienza meno immersiva. All'estremo opposto di questa scala un alto livello di immersione e sensazione è possibile con dispositivi appositi, che di solito sono pensati per soluzioni business o per modalità di gioco.

Dispositivi hardware per esperienze di AR/VR e MR

Per quanto riguarda l'hardware ci sono molti dispositivi ed oggetti diversi che permettono esperienze virtuali. Il loro uso e la loro manipolazione dipendono dallo specifico contesto in cui vengono implementati ed utilizzati. Per esempio, un uso personale (come per esempio visitare posti attraverso un video a 360 gradi) richiede un certo livello di complessità.La questione diventa più complessa se si vogliono fare esperienze di gioco in un ambiente virtuale, ed un livello di complessità completamente diverso è richiesto quando si crea un ambiente di formazione aziendale.

Dispositivi montati sulla testa (Head-mounted display o HMD)

Secondo la definizione fornita da Wikipedia, “un head-mounted display (HDM) è un dispositivo display, portato sulla testa o integrato in un casco, che comprende un piccolo schermo ottico di fronte ad uno (HDM monocolare) o entrambi gli occhi (HDM binoculare). Un HDM ha molti usi, tra cui il gaming, l'aviazione, l'ingegneria e la medicina. I caschi per la realtà virtuale sono HMD combinati con IMU. Esistono anche schermi ottici montati sulla testa (OHMD), schermi indossabili che possono riflettere le immagini proiettate e permettere all'utente di vederci attraverso ”.

In base alla loro usabilità si distinguono due tipi di HMD:

• Mobile, che non ha bisogno di essere connesso ad un altro dispositivo
  Alcuni esempi sono Oculus Go/Quest e Google Daydream
  

• Collegati, che richiedono una connessione al PC o ad una console per video game
  Alcuni esempi sono Oculus Rift S e HTC Vive

Schermi cartonati

Uno schermo cartonato permette all'utente di accedere ad un'esperienza di realtà virtuale in formato economico ed accessibile con l'uso di uno smartphone e di una app per la realtà virtuale.

Un esempio è rappresentato da Google Cardboard

Occhiali per l'AR

Si tratta fondamentalmente di occhiali con la capacità e la funzione di permettere agli utenti di fare esperienze di realtà aumentata. Ne esistono diversi formati e per diversi livelli d'uso (principalmente con diverse capacità di elaborazione, specifiche grafiche diverse e diversi prezzi).

Alcuni esempi sono i Google Glass Enterprise e i Vuzix Blade Smart Glasses.

Dispositivi per la realtà mista

I dispositivi MR permettono un'esperienza immersiva che prevede la combinazione del mondo reale e del mondo virtuale (digitale). L'utente può interagire nel mondo reale con oggetti virtuali come se fossero reali, può toccarli, cambiarne le dimensioni e tanto altro..

Alcuni esempi sono HoloLens 2 di Microsoft, Magic Leap ONE e NReal.

Head-up display (HUD) o visore a sovrimpressione

Un display head-up è fondamentalmente uno schermo trasparente su cui viene proiettata un'informazione digitale che potenzia l'informazione visiva del mondo analogico.

Tecnologia tattile

In uno dispositivo VR/AR, l'aptica porta l'esperienza ad un livello più profondo di immersione. Oltre al suono e alla vista, l'aptica permette di sentire e toccare. Alcuni esempi di dispositivi di tecnologia tattile comprendono i guanti digitali o sedie e piattaforme mobili integrate nelle soluzioni VR/AR.

La creazione di esperienze virtuali

Affinché si possa fare esperienza di altri mondi e si possa interagire con quei mondi, è necessaria una piattaforma hardware (come si è visto nella sezione precedente) in combinazione con una piattaforma software. Il software è ciò che definisce le interazioni e le esperienze in mondi che si sovrappongono al proprio o in mondi dove ci si disconnette dalla propria realtà e ci si immerge in nuove realtà digitali.

Interazione tra umano e macchina

Un rapido sguardo all'evoluzione dell'interfaccia tra umano e macchina (HMI) serve a capire come gli umani abbiano sviluppato la loro interazione con il mondo digitale. Secondo quanto scrivono Robert Scoble e Shel Israel nel loro libro “The 4th transformation: how AR and AI change everything”, ci sono quattro elementi fondamentali in questa evoluzione:

1. battitura (testo)

2. Punta e clicca (mouse)

3. Tocco (smartphone – la forma attualmente prevalente)

4. Interazione naturale (occhiali MR – il futuro dell'interazione?)

Ciò conduce a considerare il fatto che il nostro cervello agisce ed interagisce in 3D – come modalità naturale di interazione con il mondo circostante. In realtà non siamo veri e propri consumatori di schermi 2D, ci siamo semplicemente abituati ad essi. Adesso che c'è la possibilità di interagire in 3D ritorniamo alle nostre origini di interazione naturale – anche se in questo particolare contesto, l'interazione è digitale.

Spatial computing

Secondo la definizione di Simon Greenwold (2003) lo spatial computing è "l'interazione umana con una macchina in cui la macchina detiene e gestisce i riferimenti agli oggetti e agli spazi reali". Lo spatial computing è il passo fondamentale per passare dalle interazioni in 2D alle interazioni in 3D. Shashi Shekhar e Pamela Volf nel libroSpatial Computing (MIT Press, 2019) lo definiscono come “una serie di idee e tecnologie che trasformano le nostre vite comprendendo il mondo fisico, conoscendo e comunicando la nostra relazione con luoghi in quel mondo e navigando attraverso quei luoghi”.

In riferimento alla realtà estesa, significa che il sistema ha una nozione precisa dello spazio che ci circonda. Detto in modo semplice, il sistema usa lo spazio intorno all'utente come una tela per interfacciarsi con l'utente stesso. Fondamentalmente il sistema utilizza le interazioni dell'utente (come ad esempio i movimenti del corpo, i gesti o altre fonti di dati) come input per creare delle interazioni digitali combinate con lo spazio fisico. Lo spatial computing permette il fondersi del mondo reale con il mondo digitale. Può anche essere visto come una cornice per il software e l'hardware di supporto a esperienze XR.

Oggigiorno lo spatial computing viene innalzato a nuovi livelli per creare nuove funzionalità e capacità nell'universo della XR attraverso l'evoluzione delle tecniche di rappresentazione 3D e attraverso i caschi AR/VR (o l'attrezzatura ibrida che le combina entrambe), gli occhiali AR e l'attrezzatura aptica che rendono le nostre interazioni con queste nuove realtà più naturali ed autentiche.

Relazioni di dipendenza rispetto ad un dispositivo ed una piattaforma

Un problema importante da affrontare riguarda il tipo di VR/AR che si intende creare e per quale piattaforma e dispositivo si intende sviluppare un prodotto. Si tratta di questioni fondamentali nella fase di decisione rispetto a ciò che serve per creare il miglior prodotto (esperienza) possibile.

L'intero processo è complesso e richiede diverse competenze e capacità oltre a comprendere diversi campi di specializzazione. Ci si riferisce qui a squadre interdisciplinari che lavorano in modo collaborativo con il supporto di esperti afferenti a diverse aree di competenza tecnologica.

Qui di seguito un riassunto di alcuni strumenti software ed alcune piattaforme utilizzate nello sviluppo di progetti di VR e AR:

• modellazione / scannerizzazione 3D: Blender, 3ds Max, MODO, Maya, SketchUP

• sviluppo di piattaforme per VR e AR: Unity, Unreal, Amazon Sumerian

• kit di sviluppo software (SDK) / framework: ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• ambienti web: AFrame, Web XR API, AR.js