Introducere în realitatea extinsă: RA, RV și RM

Istoricul și evoluția realității extinse

În decursul istoriei, ființele umane au căutat mereu modalități vizuale pentru a-și exprima imaginația, creativitatea și dorința de a merge dincolo de lumea fizică. Obiectivul îl constituie reprezentarea scenelor, a momentelor și a experiențelor care le permit celorlalți să experimenteze cu ajutorul tuturor simțurilor lor, oferindu-le oportunitatea de a realiza vise, ambiții și viziuni – sau chiar de a trăi în lumi imaginare.

Cu sprijinul tehnologiei, putem avea experiențe mai reale și mai concrete cu imersiune totală pentru simțurile noastre. Acest lucru este posibil prin intermediul virtualizării și augmentării realităților noastre, sau prin combinarea ambelor într-un mediu mixt. În acest capitol vom discuta realitatea extinsă (RX), care acoperă realitatea virtuală (RV), realitatea augmentată (RA) și realitatea mixtă (RM). Înainte de a intra în definiții, să începem cu un scurt istoric.

De la Marea sală a taurilor la stereoscop și la dispozitivul automatizat Sensorama

Există multe exemple în istorie unde putem identifica dorința de a reprezenta și experimenta lucrurile în mod vizual. Ne putem începe călătoria în epoca preistorică și putem merge înapoi cu circa 15.000 de ani la Lascaux (o peșteră localizată pe teritoriul actual al Franței). Atunci, oamenii au creat circa 600 de picturi pe pereții peșterii, reprezentând animale mari, în ceea ce este denumită în prezent „Marea sală a taurilor”. Aceasta este una dintre primele reprezentări care ne-au rămas până acum, ale capacității ființei umane de a proiecta realități dincolo de experiența sa individuală, într-un fragment dat de timp – permițându-le astfel celorlalți să experimenteze realități prin imersiunea în imaginile generate de alții.

Putem identifica multe alte exemple în decursul istoriei, însă un moment cheie în utilizarea tehnologiei pentru a crea un dispozitiv menit specific să imerseze utilizatorul într-o experiență virtuală a fost invenția stereoscopului de către Charles Wheatstone în 1838. Stereoscopul le permitea utilizatorilor să vadă două imagini separate pentru fiecare ochi, creând sentimentul unei imagini 3D unice. Acesta a fost un moment de răscruce în crearea unei experiențe portabile și personalizate de realitate virtuală. Mulți oameni își aduc aminte în prezent de o versiune modificată a stereoscopului, denumită , ca de o jucărie din copilărie.

În același context, este important, de asemenea, să se menționeze dispozitivul automatizat Sensorama. Acest dispozitiv a fost unul dintre primele dispozitive automatizate cu tehnologie multisenzorială imersivă. Creat în 1962 de către Morton Heilig, Sensorama proiecta imagini în format 3D stereoscopic, combinând sunetul stereo, un scaun care se mișca, pentru a înclina corpul, vântul și aromele. Acesta a fost primul sistem de realitate virtuală (RV).

Mergând mai departe la începutul anilor 1990, s-a dezvoltat sistemul CAVE (mediu virtual automatizat de la Universitatea din Illinois. În acest mediu imersiv, mai multe proiectoare sunt îndreptate către pereții dintr-o zonă de mărimea unei camere, în care utilizatorul poartă ochelari 3D pentru a experimenta realitatea virtuală. Acest salt în medii simulate se folosește și în prezent de către inginerii de produs, la simulatoarele de zbor, planificarea construcției etc.

În prezent, salturile de dezvoltare în domeniul RA/RV/RM se îndreaptă către mijloace mai portabile, mai realiste, mai personalizate și mai eficiente din punctul de vedere a costurilor pentru a permite realității virtuale să reprezinte un instrument ubicuu pentru o serie extinsă de utilizări industriale și personale. În viitor, aceste instrumente și tehnologii vor fi la fel de răspândite ca și calculatoarele personale și alte dispozitive inteligente din prezent. În curând, va fi dificil să ne imaginăm lumea noastră de dinainte de realitatea virtuală.

Definirea RA/RV/RM

Realitatea augmentată

Potrivit Societății elvețiene a realității virtuale și augmentate (SSVAR), „Realitatea augmentată (RA) suprapune conținut creat digital pe mediul lumii reale a utilizatorului. Experiențele de realitate augmentată (RA) pot varia de la text informativ suprapus pe obiecte sau locuri până la obiecte virtuale fotorealiste interactive. RA diferă de realitatea mixtă în sensul că obiectele din RA (de exemplu grafică, sunete) sunt suprapuse pe și nu integrate în mediul utilizatorului.”

Pentru a înțelege mai bine conceptul de realitate augmentată trebuie să ne reamintim de Pokémon GO. Jocul ne conduce să căutăm și să capturăm ființe „digitale” (care nu aparțin lumii noastre fizice) care sunt adăugate ca straturi (holograme) peste lumea reală. Sau luați, de exemplu, filmele din seria Iron Man, în care lumea analogică este îmbunătățită cu interfețe digitale.

Realitatea virtuală

„Realitatea virtuală (RV) este un mediu pentru utilizator, complet imersiv, care afectează sau modifică informațiile obținute pe cale senzorială (de exemplu prin simțurile văzului, auzului, tactil și olfactiv), care poate permite interacțiunea cu aceste informații senzoriale bazate pe implicarea utilizatorului în lumea virtuală. În mod tipic, dar nu exclusiv, interacțiunea se face prin intermediul unui ecran montat la nivelul capului, utilizarea de dispozitive de control spațial, sau altele, precum senzori audio și/sau de mișcare (cu sau fără informații tactile sau feedback).” - SSVAR, 2021

Pentru a înțelege mai bine ce este realitatea virtuală, putem lua exemplul filmuluiThe Matrix. Acestea sunt contextele în care suntem transportați în lumi digitale vizuale, lăsându-ne lumea noastră analogică (fizică) în urmă.

Dar cum se poziționează aceste două tehnologii una în relație cu cealaltă și în legătură cu lumea reală și lumea digitală? După cum putem vedea, realitatea virtuală este susținută de un mediu generat complet de computer. Realitatea augmentată (RA) se poziționează între lumea digitală generată de computer și lumea reală.

Realitatea mixtă

„Realitatea mixtă (RM) combină nelimitat mediul lumii reale a utilizatorului cu conținutul creat digital, în care ambele medii coexistă pentru a crea o experiență hibridă. În RM, obiectivele se comportă sub toate aspectele ca și cum ar fi prezente în lumea reală, de exemplu, sunt ocolite de obiectele fizice, iluminarea acestora este consecventă cu sursele reale de iluminare din mediu, arată ca și cum ar fi în același spațiu cu utilizatorul. Pe măsură ce utilizatorul interacționează cu obiectele reale și virtuale, obiectele virtuale vor reflecta modificările din mediu așa cum ar face-o orice obiect real în același spațiu.” - SSVAR, 2021

Uneori, RM ar putea fi confundată cu RA și viceversa deoarece ambele se referă la un amestec dintre lumea reală și lumea digitală. Diferența esențială este că, în mediul RM, suntem capabili să interacționăm cu dispozitivele digitale – acestea nu sunt doar suprapuse pe lumea reală, devin o parte integrală a lumii în care putem să interacționăm cu ele. În RM, atât lumea fizică, cât și lumea digitală sunt interconectate, reprezentate doar de către o realitate unică.

Poate o modalitate mai bună de a înțelege toate aceste tehnologii într-un context adecvat este prin intermediul „lanțul virtualității (virtuality continuum)”, un termen creat de Paul Milgram, Haruo Takemura, Akira Utsumi și Fumio Kishino în 1994. Lanțul virtualității este, esențial vorbind, o scară care merge de la lumea reală și realitatea fizică la un capăt și până la o realitate complet virtuală, la celălalt capăt.

Imaginea următoare ilustrează, de asemenea, diferențele dintre RV, RA și RM în contextele specifice ale acestora de reprezentare.

De la stânga la dreapta: RV, RA și MR

La definirea RV, RA și RM, este important să reținem care este locul acestora în cadrul mai amplu al realității extinse (RX). RX este umbrela care acoperă trei domenii specifice de RA, RV și RM.

Câmp de vizualizare

Câmpul de vizualizare (FOV) este un concept important în RX, indiferent dacă vorbim despre RV, RA sau RM. FOV este conceptul care definește modul în care experimentăm RX. Determină cât de mult vedem, iar acest lucru are un impact deosebit de mare asupra modului în care ne simțim și internalizăm experiența. Esențialmente, FOV reprezintă volumul din lumea observabilă care se vede în orice moment dat și se măsoară în grade. Contează nu doar în termeni de cantitate (valoarea unghiului la care ajunge), ci și în termeni de calitate. Acest lucru se aplică echipamentului pe care-l utilizăm în RX, indiferent că este vorba de căști pentru RV sau ochelari pentru RM/RA. Prin urmare este important să conștientizăm și să verificăm ce oferă diferitele tipuri de hardware pentru RX și ce posibilități există în acest domeniu special.

Grade de libertate (DoF)

Există două niveluri sau grade de libertate (DoF) care definesc calitatea și nivelul de imersiune al experiențelor RV și RA. Acestea sunt denumite nivelul 3 (3DoF) și nivelul 6 (6DoF).

Aceste niveluri de libertate ni se oferă nouă prin intermediul căștilor pentru RV sau, mai specific, prin intermediul întregului sistemul care susține experiența. Astfel, atunci când se utilizează o cască pentru RV sau RA, ar trebui să analizăm nivelul de grad de libertate (DoF) pe care-l permite, deoarece va avea un impact enorm asupra tipului de experiență imersivă pe care-l vom avea.

3 grade de libertate (3DoF)

Nivelul 3 recunoaște trei mișcări – sistemul monitorizează mișcarea rotativă în jurul celor trei axe, Osx, Oy și Oz [cunoscute și ca „pitch” (pas), „yaw” (răsucire) și „roll” (rulare)], dar nu sunt translaționale. Nu depistează mișcarea fizică a utilizatorului, doar recunoaște mișcările capului în jurul celor trei axe. Acest lucru înseamnă că utilizatorul nu va fi reprezentat în lumea virtuală dacă merge, sare sau se mișcă în lateral.

Exemplu de cască cu 3DoF: Oculus GO

6 grade de libertate (6DoF)

Nivelul 6 recunoaște șase mișcări – sistemul monitorizează atât mișcarea rotativă, cât și mișcarea de translație a unui corp într-un spațiu 3D. De fapt, dacă există 6DoF într-o experiență virtuală, acest fapt înseamnă că utilizatorul se poate „roti”:

• Mișcarea între X și Y - pas (pitch)

• Mișcarea între X și Z - răsucire (yaw)

• Mișcarea între Z și Y - rulare (roll)

și, de asemenea, utilizatorul se poate „translata”:

• Mișcarea în sus și în jos de-a lungul axei Oy - înălțare (heaving)

• Mișcarea în față și în spate de-a lungul axei Ox - intermitență (surging)

• Mișcarea la stânga și la dreapta de-a lungul axei Oz - legănare (swaying)

Acest lucru înseamnă că mișcările utilizatorului vor fi reflectate în lumea virtuală, nu doar dacă-și rotește capul, ci și dacă merge, sare sau se mișcă în lateral.

Exemplu de cască cu 6DoF: Microsoft HoloLens 2

Cum funcționează RV/RA?

Dar cum putem experimenta însă RV, RA sau RM? De ce avem nevoie pentru a putea fi transportați din lumea noastră fizică în lumile virtuale, și cum putem fi în stare să suprapunem obiecte digitale cu lumea reală și cum putem fi în stare chiar să interacționăm cu acestea și să le manipulăm? Cu alte cuvinte, de ce hardware și software avem nevoie?

Răspunsul depinde, desigur, la cât de profundă și de „reală” ne așteptăm să fie experiența. De exemplu, dacă aveți un telefon inteligent (cu unii senzori de bază, precum un accelerometru și un giroscop pentru RV), cel mai probabil puteți avea o experiență de RV sau RA. De exemplu, pentru o experiență de RV aveți nevoie doar de un dispozitiv precum Google Cardboard, și, desigur, de o aplicație de RV sau o experiență de WebVR dezvoltată în formatul și contextul unui site web.

Telefonul inteligent pe care-l aveți este un dispozitiv puternic care vă permite ușor să experimentați și să modificați lumea fizică din jurul dumneavoastră. Cu toate acestea, trebuie să înțelegeți calitatea experienței care este posibilă cu dispozitivul dumneavoastră mobil, prin comparație cu aceea unui sistem care a fost proiectat și construit exclusiv pentru a furniza o experiență de RV sau de RA, precum un ecran montat la nivelul capului (HMD). Luați, de exemplu, următoarele două imagini, care ilustrează utilizarea unui telefon inteligent pentru a experimenta RV și RA.

Cerințe de hardware și de software

Pentru a experimenta realitatea virtuală, augmentată sau mixtă într-un mod imersiv, este necesară combinația corectă dintre elementele de hardware și de software. Nivelurile de imersiune, experiența, senzația și realismul depind de această combinație. Telefoanele inteligente oferă o experiență mai puțin imersivă. La celălalt capăt al scării, un nivel ridicat de imersiune și de senzații este posibil cu ajutorul dispozitivelor dedicate, care sunt de obicei soluții de afaceri sau jocuri.

Dispozitive hardware pentru experiențe de RA/RV și RM

În ceea ce privește partea de hardware, avem multe dispozitive și obiecte diferite care facilitează experiențele virtuale. Utilizarea și manipularea acestora depind de contextul specific în care sunt implementate și utilizate. De exemplu, utilizarea personală (cum ar fi vizitarea altor locuri prin intermediul filmelor la 360 de grade) impune un anumit nivel de complexitate. Lucrurile devin mai complexe dacă dorim să experimentăm jocuri într-un mediu virtual, și un nivel complet diferit de complexitate este necesar atunci când se creează un mediu de formare de afaceri.

Dispozitivele montate pe cap (HMD)

Potrivit Wikipedia, un „ecran montat pe cap (HMD) este un dispozitiv cu ecran, purtat pe cap sau care face parte dintr-o cască, care are un mic ecran optic în fața unui ochi (HMD monoclu) sau în fața ambilor ochi (HMD binoclu). Un HMD are multe utilizări inclusiv pentru jocuri, aviație, inginerie și medicină. Căștile pentru realitate virtuală sunt HMD-uri combinate cu IMU. De asemenea, există un ecran optic montat pe cap (OHMD), care este un ecran la purtător, care poate reflecta imagini proiectate și care permite unui utilizator să vadă prin acesta.”

Există două tipuri de HMD în funcție de modul de utilizare:

• Mobile, care nu necesită o conexiune la un alt dispozitiv

Printre exemple se includ Oculus Go/Quest și Google Daydream

• Fixate, care necesită o conexiune cu un PC sau cu o consolă de jocuri video

Printre exemple se includ Oculus Rift S și HTC Vive

Ecrane de carton

Un ecran de carton permite utilizatorului să experimenteze realitatea virtuală într-un format economic și accesibil, cu ajutorul telefonului inteligent și al aplicațiilor de realitate virtuală.

Un exemplu în acest sens este

Ochelarii pentru RA

Esențialmente, aceștia sunt ochelari cu capacitatea și funcționalitatea de a permite utilizatorilor să experimenteze realitate consolidată. Aceștia există sub diferite forme și cu niveluri diferite de utilizare (în principal există diferențe în funcție de capacitatea de procesare, caracteristicile grafice și preț).

Printre exemple se includ Google Glass Enterprise și ochelarii inteligenți Vuzix Blade.

Dispozitive pentru realitate mixtă

Dispozitivele pentru RM permit o experiență imersivă în care lumea reală și lumea (digitală) virtuală sunt combinate. Utilizatorul poate interacțional în lumea reală cu obiecte virtuale ca și cum acestea ar fi reale și le poate atinge, redimensiona etc..

Printre exemple se includ , Magic Leap ONE și NReal.

Ecrane la nivelul capului (HUD)

Un este esențialmente un ecran transparent cu o proiecție de informații digitale care consolidează informațiile vizuale în lumea analogică.

Capacitatea tactilă

Într-un ecran cu RV/RA, capacitatea tactilă duce experiența la un alt nivel de imersiune. Pe lângă sunet și văz, capacitatea tactilă vă permite să pipăiți și să atingeți. Printre exemplele de dispozitive tactile se numără mănușile digitale sau scaunele și platformele de mobilitate integrate cu soluții pentru RV/RA.

Crearea experiențelor virtuale

Pentru a experimenta alte lumi și pentru a interacționa cu acele lumi, ne este necesară o platformă de hardware (astfel cum s-a discutat în secțiunea anterioară) în combinație cu o platformă de software. Software-ul este ceea ce definește interacțiunile și experiențele în lumi care se suprapun cu lumea noastră sau în lumi în care ne deconectăm de realitatea noastră și ne imersăm în noile realități digitale.

Interacțiunea dintre om și dispozitivul automatizat

O privire rapidă la evoluția interfeței dintre om și dispozitivul automatizat (HMI) este importantă pentru a ne ajuta să înțelegem modul în care oamenii și-au dezvoltat interacțiunea cu lumea digitală. Potrivit lui Robert Scoble și Shel Israel în cartea lor, „The 4th transformation: how AR and AI change everything”, există patru momente cheie în această evoluție:

1. Tastare (text)

2. Indică și dă clic (mouse)

3. Tactil (telefoane inteligente – forma dominantă în prezent)

4. Interacțiunea firească (ochelari pentru RM – viitorul interacțiunii?)

Acest fapt ne conduce la ideea că creierul nostru operează și interacționează în 3D – acesta este modul nostru firesc de a interacționa cu lumea din jurul nostru. În realitate nu suntem consumatori adevărați de ecrane 2D, pur și simplu ne-am obișnuit așa. Acum că avem posibilitatea de a interacționa în 3D, ne reîntoarcem la rădăcinile noastre de interacțiune firească – chiar dacă în acest context special, interacțiunea este digitală.

Procesare spațială

Potrivit lui Simon Greenwold (2003), procesarea spațială este „interacțiunea umană cu un dispozitiv automatizat în care dispozitivul automatizat reține și manipulează referenți la obiecte reale și spații.” Procesarea spațială este etapa esențială în trecerea de la interacțiunile 2D la 3D. Shashi Shekhar și Pamela Vold în cartea Spatial Computing (MIT Press, 2019) definesc procesarea spațială ca fiind „... un set de idei și tehnologii care ne transformă viața prin înțelegerea lumii fizice, cunoașterea și comunicarea relației noastre cu locuri din această lume, și navigarea prin aceste locuri.”

Atunci când se pune problema realității extinse, aceasta înseamnă că sistemul are noțiunea spațiului care îl înconjoară. De fapt, sistemul utilizează spațiul din jurul utilizatorului ca pe un tablou pentru interfața cu utilizatorul. Esențialmente, sistemul utilizează interacțiunile utilizatorului (precum mișcările corpului, gesturile sau alte surse de date) ca informații pentru interacțiunile digitale în combinație cu spațiul fizic. Procesarea spațială permite amestecul dintre lumea reală și cea digitală. Se mai poate interpreta și ca un cadru de software și hardware care susține experiențe RX.

În prezent, procesarea spațială a fost adusă la noi niveluri pentru a crea funcționalități și capacități noi în universul RX prin intermediul evoluției tehnicilor de imagistică în 3D și al căștilor cu RV/RA (sau echipament hibrid care le combină pe amândouă), al ochelarilor cu RA și al echipamentelor tactile care fac ca interacțiunea noastră cu aceste realități noi să fie mai firească și mai autentică.

Dependențe de dispozitiv și de platformă

O altă chestiune importantă este ce tip de RV/RA vom crea și pentru ce platformă și dispozitive ne orientăm produsul. Toate aceste aspecte sunt esențiale atunci când luăm decizia legată de ce elemente avem nevoie pentru a crea cel mai bun produs (experiență) posibil/ă.

Întregul proces este complex și face apel la competențe și aptitudini diferite și include domenii diferite de expertiză. Vorbim despre echipe interdisciplinare care lucrează în procese colaborative susținute de experți cu diferite domenii de cunoaștere tehnologică.

Acesta este un rezumat al instrumentelor și platformelor software utilizate la dezvoltarea de proiecte de RV și RA:

• modelarea/scanarea în 3D: Blender, 3ds Max, MODO, Maya, SketchUP

• Dezvoltarea de platforme pentru RV și RA: Unity, Unreal, Amazon Sumerian

• Seturi/cadre de dezvoltare de software (SDKs): ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Mediu Web: AFrame, Web XR API, AR.js