Uvod u produženu stvarnost: proširena stvarnost, virtualna stvarnost i još puno toga

Povijest i evolucija produžene stvarnosti

Ljudi su kroz čitavu svoju povijest tražili načine vizualnog prikazivanja svoje mašte, kreativnosti i želje da nadiđu fizički svijet. Cilj je predstaviti prizore, trenutke i iskustva tako da ih drugi mogu iskusiti svim svojim osjetilima, omogućujući im time ostvarenje snova, ambicija i vizija – ili čak život u imaginarnim svjetovima.

Tehnologija nam omogućuje da svim svojim osjetilima doživimo stvarnija i konkretnija iskustva. To je moguće virtualizacijom i proširenjem naših stvarnosti ili kombinacijom tih dviju tehnologija u miješanoj stvarnosti. U ovom ćemo poglavlju govoriti o produženoj stvarnosti (XR), koja pokriva virtualnu stvarnost (VR), proširenu stvarnost (AR) i miješanu stvarnost (MR). Prije definicija započnimo s kratkim povijesnim pregledom.

Od Dvorane bikova do Stereoskopa i stroja Sensorama

U povijesti su prisutni brojni primjeri ljudske želje za vizualnim predstavljanjem i doživljavanjem stvari. Započnimo naše putovanje u prapovijesnom dobu i vratimo se oko 15 000 godina u prošlost, u pećinu Lascaux (koja se nalazi na prostoru sadašnje Francuske). Tadašnji su ljudi u prostoriji koja je poznata kao „Dvorana bikova“ naslikali približno 600 zidnih slika velikih životinja. To je jedan od prvih sačuvanih prikaza ljudske sposobnosti projiciranja stvarnosti koje su izvan osobnog iskustva, omogućujući tako drugima da iskuse stvarnosti uranjanjem u slike koje su izradili drugi.

Možemo pronaći mnoge druge primjere kroz povijest, ali izum stereoskopa 1838. (Charles Wheatstone) predstavlja ključan trenutak u primjeni tehnologije za izradu uređaja koji je posebno namijenjen za uranjanje korisnika u virtualno iskustvo. Stereoskop kombinira dvije fotografije istog predmeta, pri čemu korisnici svakim okom mogu vidjeti po jednu sliku, dobivajući tako osjećaj jedinstvene 3D slike. To je bila prekretnica u stvaranju prijenosnog i personaliziranog iskustva virtualne stvarnosti. Mnogi će se još i danas prisjetiti igračke iz djetinjstva, View-Master, što je zapravo izmijenjena verzija stereoskopa.

U ovom je kontekstu također važno spomenuti stroj Sensorama. To je bio jedan od prvih uređaja koji primjenjuje imerzivnu multisenzornu tehnologiju. Sensoramu je 1962. konstruirao Morton Heilig, a uređaj je projicirao slike u stereoskopskom 3D formatu, kombinirajući stereozvuk, pomično sjedalo, vjetar i mirise. To je bio prvi sustav virtualne stvarnosti.

Kasnije, početkom 1990-tih, na Sveučilištu u Illinoisu razvijen je sustav CAVE (engl. Cave Automatic Virtual Environment). U tom je imerzivnom okruženju nekoliko projektora usmjereno prema zidovima u prostoru veličine sobe, u kojemu korisnik nosi 3D naočale kako bi iskusio virtualnu stvarnost. Ovaj skok u simulirana okruženja još se i dan-danas upotrebljava u proizvodnom inženjeringu, simulatorima leta, građevinskom planiranju itd.

Danas se razvojni skokovi u području AR-a/VR-a/MR-a kreću prema tome da se poveća prenosivost, realističnost, personaliziranost i isplativost pružanja virtualne stvarnosti kako bi postala sveprisutan alat za široku paletu primjene u industrijske i osobne svrhe. Ti će alati i tehnologije u budućnosti biti jednako rasprostranjeni kao što su to osobna računala i drugi pametni uređaji danas. Uskoro će biti teško zamisliti naš svijet prije virtualne stvarnosti.

Definiranje AR-a/VR-a/MR-a

Proširena stvarnost

Prema švicarskom udruženju za virtualnu i proširenu stvarnost (engl. Swiss Society of Virtual and Augmented Reality, SSVAR), „proširena stvarnost (AR) digitalno izrađen sadržaj stavlja u stvarno okruženje korisnika. Iskustva proširene stvarnosti mogu uključivati informativni tekst dodan na predmete ili lokacije, ili čak interaktivne fotorealistične prikaze virtualnih predmeta. AR se od miješane stvarnosti razlikuje u tome što su predmeti iz AR-a (npr. grafike, zvukovi) nadograđeni na okruženje korisnika, umjesto da su integrirani u njega.“

Kako biste bolje razumjeli koncept proširene stvarnosti, sjetite se samo videoigre Pokémon GO. U toj videoigri trebamo pronaći i uhvatiti „digitalna“ stvorenja koja ne pripadaju našem fizičkom svijetu i koja su u stvarni svijet dodana u obliku slojeva (holograma). Ili uzmimo kao primjer film Iron Man, u kojem je analogni svijet poboljšan zahvaljujući digitalnim sučeljima.

Virtualna stvarnost

„Virtualna stvarnost (VR) je potpuno imerzivno korisničko okruženje koje utječe na naše osjetilne podražaje ili ih mijenja (npr. vid, sluh, dodir i miris), omogućujući interakciju s tim osjetilnim podražajima temeljem korisnikovog ponašanja u virtualnom svijetu. Tipično, ali ne i isključivo, interakcija se provodi preko zaslona koji se postavlja na glavu (engl. head-mounted display, HMD), uporabom kontrolora prostora ili drugih kontrolora zvuka i/ili pokreta (sa ili bez taktilnog podražaja ili povratnih informacija)“ – SSVAR, 2021.

Kako bismo bolje razumjeli virtualnu stvarnost, za primjer možemo uzeti film The Matrix. U tim se kontekstima transportiramo u virtualne digitalne svjetove, ostavljajući naš analogni (fizički) svijet iza nas.

Međutim, kakav je međusobni odnos tih dviju tehnologija i u kakvom su one odnosu prema stvarnom naspram digitalnom svijetu? Kao što možemo vidjeti, virtualnu stvarnost podupire ukupno računalno generirano okruženje. AR je negdje na sredini između digitalnog računalno generiranog svijeta i stvarnog svijeta.

Miješana stvarnost

„Miješana stvarnost (MR) neprimjetno spaja korisnikovo stvarno okruženje i digitalno kreirani sadržaj, pri čemu oba okruženja koegzistiraju i stvaraju hibridno iskustvo. Virtualni predmeti se u MR-u u svim aspektima ponašaju kao da su prisutni u stvarnom svijetu, npr. zaklanjaju ih fizički predmeti, njihovo je osvjetljenje konzistentno sa stvarnim izvorima svjetlosti u okruženju, zvuče kao da su u istom prostoru kao i korisnik. Kako korisnik ulazi u interakciju sa stvarnim i virtualnim predmetima, virtualni će predmeti odražavati promjene u okruženju kao što bi to bio slučaj s bilo kakvim stvarnim predmetom u tom istom prostoru“ – SSVAR, 2021.

Ponekad se miješana stvarnost može zamijeniti za proširenu stvarnost i obrnuto budući da se u oba slučaju radi o kombinaciji stvarnog i digitalnog svijeta. Ključna je razlika u tome što je u okruženju miješane stvarnosti omogućena interakcija s digitalnim uređajima. Oni nisu samo „naslagani“ na stvarni svijet, već postaju sastavni dio svijeta u kojem nam je omogućena interakcija s njima. U miješanoj su stvarnosti fizički i digitalni svijet međusobno povezani, čineći jednu stvarnost.

Možda se sve ove tehnologije mogu bolje razumjeti u ispravnom kontekstu u okviru „kontinuiteta virtualnosti“, izraza koji su 1994. skovali Paul Milgram, Haruo Takemura, Akira Utsumi i Fumio Kishino. Kontinuitet virtualnosti u suštini je raspon između stvarnog svijeta i fizičke stvarnosti s jedne strane te potpuno virtualne stvarnosti s druge strane.

Na sljedećoj su slici također prikazane razlike između VR-a, AR-a i MR-a u njihovim odnosnim okvirima predstavljanja.

Slijeva nadesno: VR, AR i MR

Prilikom definiranja VR-a, AR-a i MR-a važno je zapamtiti gdje se oni uklapaju u širem okviru produžene stvarnosti (XR). XR je krovni izraz koji pokriva sva tri specifična područja AR-a, VR-a i MR-a.

Polje prikaza

Polje prikaza (engl. field of view, FOV) važan je koncept u produženoj stvarnosti, neovisno o tome je li riječ o VR-u, AR-u ili MR-u. FOV je koncept koji definira naše iskustvo produžene stvarnosti. Određuje koliko toga možemo vidjeti, što uvelike utječe na to kako se osjećamo i kako internaliziramo to iskustvo. FOV je u suštini količina svijeta koju je moguće vidjeti, a koju vidimo u bilo kojem trenutku. Mjeri se u stupnjevima. Važan je ne samo za kvantitetu (kutnu vrijednost koju postiže), već i za kvalitetu. Primjenjuje se na opremu koju upotrebljavamo u produženoj stvarnosti, neovisno o tome radi li se o naglavnim kompletima za virtualnu stvarnost ili o MR/AR naočalama. Stoga je važno da znamo i da provjeravamo što nude različite vrste hardvera za XR i što omogućuju u tom specifičnom području.

Stupnjevi slobode (DoF)

Razlikujemo dvije razine ili dva stupnja slobode (engl. degrees of freedom, DoF) kojima definiramo kvalitetu i razinu uranjanja u iskustvo virtualne i proširene stvarnosti. Nazivaju se razina 3 (3DoF) i razina 6 (6DoF).

Te razine slobode dobivamo primjenom naglavnih kompleta za virtualnu stvarnost ili, da budemo precizniji, čitavog sustava koji podržava to iskustvo. Dakle, kada upotrebljavamo naglavni komplet za virtualnu ili proširenu stvarnost, trebali bismo provjeriti koju razinu DoF-a omogućuju budući da će to imati ogroman utjecaj na vrstu imerzivnog iskustva koje ćemo doživjeti.

3 stupnja slobode (3DoF)

Razina 3 prepoznaje tri pokreta. Sustav prati rotacijski pokret oko osi x, y i z (poznat i kao nagib, njihanje i kotrljanje), ali ne translacijski. Ne detektira fizičko kretanje korisnika, već samo prepoznaje pokrete glave oko triju osi. To znači da, ako korisnik hoda, skače ili se pomakne u stranu, ti se pokreti neće odraziti u virtualnom svijetu.

Primjer 3DoF naglavnog uređaja: Oculus GO

6 stupnjeva slobode (6DoF)

Razina 6 prepoznaje šest pokreta. Sustav prati i rotacijske i translacijske pokrete tijela u 3D prostoru. Drugim riječima, ako korisnik ima 6DoF u virtualnom svijetu, to znači da se može „rotirati“:

• kretanje između osi X i Y (nagib, engl. pitch),

• kretanje između osi X i Z (njihanje, engl. yaw),

• kretanje između osi Z i Y (kotrljanje, engl. roll),

i korisnik također može „prevoditi“:

• pomicanje gore-dolje duž osi Y (uzdizanje, engl. heaving),

• pomicanje unaprijed i unazad duž osi X (nagon, engl. surging),

• pomicanje ulijevo i udesno duž osi Z (pomicanje, engl. swaying).

To znači da će se pokreti korisnika odraziti i u virtualnom svijetu, i to ne samo ako pomiče glavu, već i ako hoda, skače ili se pomakne u stranu.

Primjer 6DoF naglavnog uređaja: Microsoft HoloLens 2

Kako VR/AR radi?

Kako možemo iskusiti VR, AR ili MR? Što nam je potrebno kako bismo se iz našeg fizičkog svijeta mogli prebaciti u virtualne svjetove i kako možemo digitalne predmete dodavati u stvarni svijet, pa čak i biti u interakciji s njima i manipulirati njima? Drugim riječima, koji hardver i softver nam je potreban za to?

Odgovor, naravno, ovisi o tome koliko duboko i „stvarno“ iskustvo očekujemo. Primjerice, imate li pametan telefon (s osnovnim senzorima poput brzinometra i žiroskopa za VR), vjerojatno ćete moći iskusiti VR ili AR. Za iskustvo VR-a, na primjer, sve što trebate jest uređaj kao što je Google Cardboard i, naravno, aplikacija za VR ili WebVR iskustvo koja je razvijena u formatu i kontekstu web-mjesta.

Naši pametni telefoni snažni su uređaji s pomoću kojih jednostavno možemo iskusiti i izmijeniti fizički svijet koji nas okružuje. Međutim, potrebno je razumjeti kvalitetu iskustva koje nam omogućuju naši mobilni uređaji u usporedbi s iskustvom koje nam pruža sustav koji je izrađen isključivo kako bi nam pružio iskustvo virtualne ili proširene stvarnosti, kao što je zaslon koji se postavlja na glavu (HMD). Uzmimo za primjer sljedeće dvije slike na kojima je prikazana uporaba pametnog telefona za postizanje iskustva virtualne i proširene stvarnosti.

Hardverski i softverski preduvjeti

Za imerzivno iskustvo virtualne, proširene ili miješane stvarnosti potrebna je ispravna kombinacija hardverskih i softverskih elemenata. O toj kombinaciji ovisi razina imerzije, iskustva, dojma i osjećaja stvarnosti. Pametni telefoni ne pružaju nam intenzivno imerzivno iskustvo. S druge strane raspona nalazi se visoka razina imerzije i dojmova koju nam omogućuju namjenski uređaji, a obično se radi o poslovnim rješenjima ili videoigrama.

Hardverski uređaji za iskustvo AR-a/VR-a i MR-a

Što se tiče hardvera, na raspolaganju nam je mnogo različitih uređaja i predmeta koji nam omogućuju virtualna iskustva. Njihova uporaba i manipulacija ovise o specifičnom kontekstu u kojem se implementiraju i upotrebljavaju. Primjerice, uporaba u osobne svrhe (poput odlazaka na druga mjesta putem videozapisa u formatu od 360 stupnjeva) zahtijeva određenu razinu složenosti. Stvari postaju kompliciranije ako želimo iskusiti videoigre u virtualnom okruženju, a stvaranje okruženja za poslovne edukacije zahtijeva sasvim drukčiju razinu složenosti.

Zasloni koji se postavljaju na glavu (HMD)

Prema definiciji iz Wikipedije, zaslon koji se postavlja na glavu (HMD) uređaj je koji se nosi na glavi ili je ugrađen u kacigu, a ima maleni optički prikaznik ispred jednog (monokularni HMD) ili oba oka (binokularni HMD). HMD se upotrebljava u brojne svrhe, uključujući za igranje videoigara, zrakoplovstvo, inženjerstvo i medicinu. Naglavni kompleti za virtualnu stvarnost zapravo su HMD-ovi kombinirani s inercijskim mjernim jedinicama (IMU). Također postoji i naglavni uređaj OHMD. Riječ je o zaslonu koji se nosi na glavi, a može prikazati projicirane slike i korisnik može gledati kroz njega.

S obzirom na mogućnosti uporabe, razlikujemo dvije vrste HMD-a:

• Mobilni, koji ne treba biti povezan s drugim uređajem.

• • Primjeri uključuju Oculus Go/Quest i Google Daydream.

• Povezani, koji treba biti povezan s PC-om ili igraćom konzolom.

• • Primjeri uključuju Oculus Rift S i HTC Vive.

Kartonski prikazni uređaji

Kartonski prikazni uređaji omogućuju korisniku da iskusi virtualnu stvarnost u ekonomičnom i pristupačnom obliku uporabom pametnog telefona i aplikacija za virtualnu stvarnost.

Primjer toga je Google Cardboard.

AR naočale

U suštini, to su naočale čiji kapaciteti i funkcije pružaju korisnicima iskustvo poboljšane stvarnosti. Dostupni su u brojnim formatima i s različitim razinama uporabe, a razlikuju se uglavnom sposobnostima za obradu, grafičkim karakteristikama i cijenom.

Primjeri uključuju Google Glass Enterprise i Vuzixove pametne naočale Blade.

Uređaji za miješanu stvarnost

Uređaji za MR omogućuju imerzivno iskustvo u kojem je stvarni svijet kombiniran s virtualnim (digitalnim) svijetom. Korisnici u stvarnom svijetu mogu biti u interakciji s virtualnim predmetima kao da su stvarni, mogu ih dodirivati, mijenjati njihovu veličinu i još mnogo više.

Primjeri uključuju Microsoft HoloLens 2, Magic Leap ONE i NReal.

Projicirani zaslon (engl. heads-up display, HUD)

HUD je u suštini proziran zaslon koji projicira digitalne informacije, poboljšavajući tako vizualne informacije u analognom svijetu.

Taktilni uređaji

Taktilni uređaji u prikazu VR-a/AR-a omogućuju jednu sasvim novu razinu imerzije u iskustvo. Osim zvuka i vida, taktilni uređaji nam omogućuju da osjećamo i dodirujemo. Primjeri taktilnih uređaja uključuju digitalne rukavice ili sjedala i pokretne platforme integrirane u rješenja za VR/AR.

Stvaranje virtualnih iskustava

Kako bismo mogli iskusiti druge svjetove i biti u interakciji s njima, potrebna nam je hardverska platforma (kao što smo naveli u prethodnom dijelu) u kombinaciji sa softverskom platformom. Softver definira interakcije i iskustva u svjetovima koji se preklapaju s našim svijetom ili u svjetovima u kojima se isključujemo iz naše stvarnosti i uranjamo u nove digitalne stvarnosti.

Interakcija čovjeka i stroja

Evolucija sučelja čovjeka i stroja (engl. human machine interface, HMI) važna je za razumijevanje načina na koji su ljudi razvili svoju interakciju s digitalnim svijetom. Robert Scoble i Shel Israel napisali su u svojoj knjizi „The 4th transformation: how AR and AI change everything“ (Četvrta transformacija: kako AR i AI sve mijenjaju) da razlikujemo četiri ključna trenutka u toj evoluciji:

1. pisanje (tekst),

2. usmjeri-i-klikni (miš),

3. dodir (pametni telefoni koji su trenutačno dominantan oblik),

4. prirodna interakcija (MR naočale koje možda predstavljaju budućnost interakcije).

To nas vodi do sljedećeg promišljanja: naš mozak funkcionira i ulazi u interakcije u 3D formatu. To je naš prirodan način interakcije sa svijetom koji nas okružuje. Zapravo nismo pravi potrošači 2D ekrana, samo smo ih naviknuti koristiti. Sada kada nam je omogućena interakcija u 3D formatu, vraćamo se našim korijenima prirodne interakcije, čak i ako je ta interakcija digitalna, kao što je to slučaj u ovom kontekstu.

Prostorno računalstvo (engl. spatial computing)

Simon Greenwold izjavio je 2003. da je prostorno računalstvo „ljudska interakcija sa strojem tijekom koje stroj zadržava i manipulira korisnicima u odnosu na stvarne predmete i prostore“. Prostorno računalstvo ključno je za prelazak s 2D interakcija na 3D interakcije. Shashi Shekhar i Pamela Vold u knjizi Spatial Computing (MIT Press, 2019.) definiraju prostorno računalstvo kao „...skup ideja i tehnologija koje transformiraju naše živote razumijevanjem fizičkog svijeta, poznavanjem i komuniciranjem našeg odnosa s mjestima u tom svijetu te navigacijom kroz ta mjesta“.

Što se tiče produžene stvarnosti, to znači da sustav može pojmiti prostor koji ga okružuje. Sustav u osnovi koristi prostor oko korisnika kao platno za povezivanje s korisnikom. U biti, sustav koristi interakcije korisnika (kao što su pokreti tijela, geste ili drugi izvori podataka) kao ulazne podatke za digitalne interakcije u kombinaciji s fizičkim prostorom. Prostorno računalstvo omogućuje spajanje stvarnog i digitalnog svijeta. Također se može smatrati okvirom softvera i hardvera koji podržava iskustva produžene stvarnosti.

U današnje je vrijeme prostorno računalstvo uzdignuto do novih razina kako bi se stvorile nove funkcionalnosti i sposobnosti u svemiru produžene stvarnosti razvojem tehnika izrade 3D slika i naglavnih kompleta za AR/VR (ili hibridne opreme koja kombinira oboje), AR naočala i taktilne opreme koji našu interakciju s tim novim stvarnostima čine prirodnijima i autentičnijima.

Ovisnosti uređaja i platforme

Drugo važno pitanje jest koju ćemo vrstu virtualne/proširene stvarnosti stvoriti i koje su ciljne platforme i uređaji našeg proizvoda. Sve je to od ključne važnosti prilikom odlučivanja o tome što ćemo trebati za razvoj najboljeg mogućeg proizvoda (iskustva).

To je složen postupak koji zahtijeva različite vještine i sposobnosti te uključuje različita područja stručnosti. Govorimo o interdisciplinarnim timovima koji surađuju u postupcima uz podršku stručnjaka iz različitih područja tehnološkog znanja.

Ovo je sažetak nekih softverskih alata i platformi koji se upotrebljavaju u razvoju projekata virtualne i proširene stvarnosti:

• 3D modeliranje / skeniranje: Blender, 3ds Max, MODO, Maya, SketchUP

• Razvoj platformi za VR i AR: Unity, Unreal, Amazon Sumerian

• Okviri / kompleti za razvoj softvera (engl. software development kit, SDK): ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Web-okruženje: AFrame, Web XR API, AR.js