Inleiding tot extended reality: AR, VR en MR

Geschiedenis en evolutie van extended reality

Door de geschiedenis heen heeft de mens altijd gezocht naar visuele manieren om uitdrukking te geven aan zijn verbeelding, creativiteit en verlangen om verder te gaan dan de fysieke wereld. Het doel is scènes, momenten en ervaringen weer te geven die anderen in staat stellen ze met al hun zintuigen te ervaren, en zo de mogelijkheid te bieden dromen, ambities en visies te verwezenlijken, of zelfs in denkbeeldige werelden te leven.

Met de steun van de technologie kunnen wij meer reële en concrete ervaringen opdoen met een totale onderdompeling van onze zintuigen. Dit is mogelijk door onze realiteit virtueel te maken en te verbeteren (‘augmentation’), of door beide te combineren in een gemengde omgeving. In dit hoofdstuk bespreken we extended reality (XR), waaronder virtual reality (VR), augmented reality (AR) en mixed reality (MR) vallen. Laten we beginnen met een korte geschiedenis voordat we de definities behandelen.

Van de Grote Stierenzaal tot de Stereoscoop en de Sensorama-machine

Er zijn vele voorbeelden in de geschiedenis waar we de wens kunnen terugvinden om dingen visueel voor te stellen en te beleven. We kunnen onze reis in de prehistorie beginnen en ongeveer 15.000 jaar geleden teruggaan naar Lascaux (een grot in het huidige Frankrijk). Toen maakten de mensen ongeveer 600 muurschilderingen van grote dieren in wat we kennen als de ‘Grote stierenzaal’. Dit is een van de eerste overgebleven voorstellingen van het vermogen van de mens om werkelijkheden buiten zijn individuele ervaring te projecteren in een bepaald tijdsfragment en zo anderen in staat te stellen werkelijkheden te ervaren door zich onder te dompelen in beelden die door anderen werden gemaakt.

Er zijn in de geschiedenis vele andere voorbeelden te vinden, maar een sleutelmoment in het gebruik van technologie om een apparaat te creëren dat specifiek bedoeld was om de gebruiker onder te dompelen in een virtuele ervaring, was de uitvinding van de stereoscoop door Charles Wheatstone in 1838. Met de stereoscoop konden gebruikers twee afzonderlijke beelden voor elk oog zien, waardoor het gevoel ontstond van een uniek 3D-beeld. Dit was een doorbraak in het creëren van een draagbare en gepersonaliseerde ervaring van virtuele realiteit. Veel mensen zullen zich vandaag de dag een aangepaste versie van de stereoscoop, de , herinneren als speelgoed uit hun kindertijd.

In deze context moeten we zeker ook de ‘Sensorama’-machine vermelden. Dit apparaat was een van de eerste machines met meeslepende multisensoriële technologie. De Sensorama, die in 1962 werd ontworpen door Morton Heilig, projecteerde beelden in stereoscopisch 3D-formaat en combineerde daarbij stereogeluid, een bewegende stoel om het lichaam schuin te houden, wind en aroma's. Dit was het eerste VR-systeem.

In het begin van de jaren negentig werd het CAVE-systeem (Cave Automatic Virtual Environment) ontwikkeld aan de universiteit van Illinois. In deze immersieve omgeving zijn meerdere projectoren gericht op muren in een ruimte ter grootte van een kamer, waarin de gebruiker een 3D-bril draagt om de virtuele realiteit te ervaren. Deze sprong in gesimuleerde omgevingen wordt tot op vandaag gebruikt door productingenieurs, vluchtsimulators, bouwplanning en nog veel meer.

Vandaag gaan de ontwikkelingssprongen op het gebied van AR/VR/MR in de richting van meer draagbare, realistische, gepersonaliseerde en kostenefficiënte middelen om virtuele realiteit tot een alomtegenwoordig instrument te maken voor een brede waaier van industriële en persoonlijke toepassingen. In de toekomst zullen deze instrumenten en technologieën even wijdverspreid zijn als pc's en andere slimme apparaten vandaag. Binnenkort zal virtual reality niet meer weg te denken zijn uit onze wereld.

AR/VR/MR definiëren

Augmented reality

Volgens de Swiss Society of Virtual and Augmented Reality (SSVAR) ‘bedekt Augmented reality de echte wereld van de gebruiker met digitaal gecreëerde inhoud. AR-ervaringen kunnen variëren van informatieve tekst over voorwerpen of locaties tot interactieve, fotorealistische virtuele voorwerpen. AR verschilt van mixed reality doordat AR-objecten (bv. afbeeldingen, geluiden) bovenop de omgeving van de gebruiker worden geplaatst en er niet in worden geïntegreerd.

Denk, om het concept augmented reality beter te begrijpen, even terug aan Pokémon GO. Het spel leidt ons naar het zoeken en vangen van ‘digitale’ wezens (die niet tot onze fysieke wereld behoren) die als lagen (hologrammen) bovenop de echte wereld worden geplaatst. Of neem bijvoorbeeld de Iron Man films, waarin de analoge wereld wordt verrijkt met digitale interfaces.

Virtual reality

“Virtual reality” (VR) is een volledig immersieve gebruikersomgeving die de zintuiglijke input(s) (bv. zicht, geluid, tast en reuk) beïnvloedt of wijzigt en die interactie met die zintuiglijke inputs mogelijk maakt op basis van de betrokkenheid van de gebruiker bij de virtuele wereld. Veel voorkomend, maar niet exclusief, is de interactie via een head-mounted display, het gebruik van ruimtelijke of andere audio, en/of bewegingscontrollers (met of zonder tactiele input of feedback).’ -SSVAR, 2021

Om beter te begrijpen wat virtuele realiteit is, kunnen we de film The Matrix als voorbeeld nemen. Dit zijn contexten waarin we worden getransporteerd naar virtuele digitale werelden, waarbij we onze analoge (fysieke) wereld achterlaten.

Maar hoe verhouden deze twee technologieën zich tot elkaar en tot de reële versus de digitale wereld? We stellen vast dat virtuele realiteit wordt ondersteund door een volledig computergegenereerde omgeving. AR bevindt zich tussen de digitale, door de computer gegenereerde wereld en de echte wereld in.

Mixed reality

‘Mixed reality (MR) laat de echte wereld van een gebruiker naadloos versmelten met digitaal gecreëerde inhoud, waarbij beide omgevingen naast elkaar bestaan en een hybride ervaring creëren. In MR gedragen de virtuele objecten zich in alle opzichten alsof ze in de echte wereld aanwezig zijn - ze worden bijvoorbeeld bedekt door fysieke objecten, hun verlichting komt overeen met de werkelijke lichtbronnen in de omgeving, ze klinken alsof ze zich in dezelfde ruimte bevinden als de gebruiker. Als de gebruiker interactie heeft met de echte en virtuele objecten, zullen de virtuele objecten de veranderingen in de omgeving weerspiegelen, net als elk echt object in dezelfde ruimte.’ -SSVAR, 2021

Soms kan MR worden verward met AR en omgekeerd, aangezien beide betrekking hebben op een mix tussen de reële en de digitale wereld. Het belangrijkste verschil is dat we in een MR-omgeving kunnen interageren met digitale apparaten - ze worden niet alleen overlapt met de echte wereld, maar ze worden een integraal onderdeel van de wereld waarin we met ze kunnen interageren. In MR zijn zowel de fysieke als de digitale wereld met elkaar verbonden en worden zij slechts door één enkele werkelijkheid voorgesteld.

Al deze technologieën zijn misschien beter in een juiste context te plaatsen via het ‘virtualiteitscontinuüm’, een term die in 1994 werd bedacht door Paul Milgram, Haruo Takemura, Akira Utsumi en Fumio Kishino. Het virtualiteitscontinuüm is in wezen een schaal die loopt van de echte wereld en de fysieke realiteit aan het ene uiteinde tot een volledig virtuele realiteit aan het andere uiteinde.

De volgende afbeelding illustreert ook de verschillen tussen VR, AR en MR binnen de specifieke context waarin ze worden voorgesteld.

Van links naar rechts: VR, AR en MR

Bij het definiëren van VR, AR en MR is het belangrijk te onthouden waar ze passen in het bredere kader van extended reality (XR). XR is de paraplu die de drie specifieke domeinen van AR, VR en MR omvat.

Field of view

Field of view (FOV) is een belangrijk concept in XR, of we het nu over VR, AR of MR hebben. FOV is het concept dat bepaalt hoe we XR ervaren. Het bepaalt hoeveel we kunnen zien en dit heeft een grote invloed op hoe we ons voelen en hoe we ons die ervaring eigen maken. In essentie is FOV de hoeveelheid van de waarneembare wereld die op een bepaald moment wordt gezien en wordt gemeten in graden. Het is niet alleen van belang in termen van kwantiteit (de hoekwaarde die wordt bereikt), maar ook in termen van kwaliteit. Dit geldt voor de apparatuur die we gebruiken bij XR, of het nu VR-headsets of MR/AR-brillen zijn. Daarom is het belangrijk om te weten en na te gaan wat de verschillende soorten XR-hardware bieden en mogelijk maken op dit specifieke gebied.

Vrijheidsgraden

Er zijn twee niveaus of vrijheidsgraden (Degrees of freedom - DoF) die de kwaliteit en het niveau van immersie van VR- en AR-ervaringen bepalen. Deze worden niveau 3 (3DoF) en niveau 6 (6DoF) genoemd.

Deze vrijheidsniveaus worden ons aangereikt door de VR-headsets, of in het bijzonder door het hele systeem dat de ervaring ondersteunt. Als we een VR- of AR-headset gebruiken, moeten we dus kijken naar de mate van vrijheid die ermee mogelijk is, omdat dit een grote invloed heeft op de mate waarin we een meeslepende ervaring beleven.

3 vrijheidsgraden (3DoF)

Niveau 3 herkent drie bewegingen: het systeem volgt de rotatiebeweging rond de x-, y- en z-as (ook bekend als stampen, gieren en rollen), maar niet de translatiebeweging. Het detecteert niet de fysieke beweging van de gebruiker, maar herkent alleen hoofdbewegingen rond de drie assen. Dit betekent dat de gebruiker niet wordt weergegeven in de virtuele wereld als hij loopt, springt of opzij beweegt.

Voorbeeld van een 3DoF-headset: Oculus GO

6 vrijheidsgraden (6DoF)

Niveau 6 herkent zes bewegingen - het systeem volgt zowel de rotatie- als de translatiebeweging van een lichaam in een 3D-ruimte. In principe betekent het hebben van 6DoF in een virtuele ervaring dat de gebruiker kan ‘roteren’:

• Tussen X en Y bewegen - stampen

• Tussen X en Z bewegen- gieren

• Tussen Z en Y bewegen - rollen

en de gebruiker kan ook ‘verschuiven’:

• Langs de Y-as op en neer bewegen - deinen

• Langs de X-as voor- en achterwaarts bewegen - schrikken

• Langs de Z-as naar links en rechts bewegen - verzetten

Dit betekent dat de bewegingen van de gebruiker worden gereflecteerd in de virtuele wereld, niet alleen als ze hun hoofd bewegen, maar ook als ze wandelen, springen of opzij bewegen.

Voorbeeld van een 6DoF headset: Microsoft HoloLens 2

Hoe werkt VR/AR?

Hoe kunnen we VR, AR or MR ervaren? Wat hebben we nodig om te worden getransporteerd van onze fysieke naar onze virtuele wereld en hoe kunnen we digitale voorwerpen laten samenvallen met de echte wereld, en kunnen we ze zelfs manipuleren? Met andere woorden, welke hard- en software hebben we nodig?

Het antwoord hangt natuurlijk af van hoe diepgaand en ‘echt’ we de ervaring willen beleven. Als je bijvoorbeeld een smartphone hebt (met enkele basissensoren zoals een versnellingsmeter en gyroscoop voor VR), dan kun je hoogstwaarschijnlijk een VR- of AR-ervaring beleven. Voor een VR-ervaring heb je bijvoorbeeld alleen een apparaat nodig zoals Google Cardboard, en natuurlijk een VR-app of een WebVR-ervaring ontwikkeld in het formaat en de context van een website..

Je smartphone is een krachtig apparaat waarmee je gemakkelijk de fysieke wereld om je heen kunt ervaren en veranderen. Toch moeten we begrijpen wat de kwaliteit is van de ervaring die mogelijk is met jouw mobiele apparaat in vergelijking met die van een systeem dat uitsluitend is ontworpen en gebouwd om een VR- of AR-ervaring te bieden, zoals een head-mounted display (HMD). Neem bijvoorbeeld de volgende twee afbeeldingen, die het gebruik van een smartphone illustreren om VR en AR te ervaren.

Hard- en softwarevereisten

Om virtual, augmented of mixed reality immersief te kunnen beleven, moet je over de juiste combinatie van hard- en software- elementen beschikken. De mate waarin immersie, ervaring, gevoel en realisme worden beleefd, hangt van deze combinatie af. Smartphones bieden een minder immersieve ervaring. Aan de andere kant van de schaal is een hoog niveau van immersie en gevoel mogelijk met gespecialiseerde toestellen. Meestal zijn dit bedrijfsoplossingen of computerspellen.

Hardwaretoestellen voor AR/VR en MR-ervaringen

Voor wat betreft hardware hebben we vele verschillende toestellen en voorwerpen die virtuele ervaringen gemakkelijker maken. Hoe zij gebruikt en gemanipuleerd worden, hangt af van de specifieke context waarin zij worden geïmplementeerd en gebruikt. Zo vergt persoonlijk gebruik (zoals het bezoeken van andere plaatsen via 360-graden video’s) een zeker niveau van complexiteit. De dingen worden ingewikkelder als we computerspellen in een virtuele omgeving willen beleven en het opzetten van een opleidingsomgeving voor bedrijven vereist nog een heel ander niveau van complexiteit.

Head-mounted devices (HMD)

Volgens Wikipedia is een ‘head-mounted display (HMD) een beeldscherm dat op het hoofd gedragen wordt. Het kan de vorm hebben van een bril (men spreekt dan van een virtualrealitybril of VR-bril), of in een helm ingebouwd zijn. Een HMD kan voor heel wat toepassingen dienen, zoals computerspellen, luchtvaart, engineering, en geneeskunde. Virtualrealityheadsets zijn HMD’s in combinatie met inertial measurement units (IMU’s). Ook bestaat er een optische head-mounted display (OHMD), een draagbaar beeldscherm dat geprojecteerde beelden kan reflecteren waarmee een gebruiker erdoorheen kan kijken.’

Er bestaan twee soorten HMD, naargelang hun gebruik:

• Mobiel, waarvoor geen verbinding met een ander toestel nodig is

  Bijvoorbeeld Oculus Go/Quest en Google Daydream

• Verbonden, wat betekent dat er een verbinding met een PC of videospelconsole nodig is Bijvoorbeeld Oculus Rift S en HTC Vive

Cardboard displays

Met een cardboard display kan de gebruiker virtual reality ervaren in een economisch en toegankelijk formaat met gebruikmaking van zijn smartphone en virtual reality-apps.

Een voorbeeld hiervan is

AR-bril

In essentie is dit een bril met de capaciteit en functionaliteit die nodig zijn om een verbeterde realiteit waar te nemen. Ze bestaan in veel verschillende formaten en met verschillende gebruiksniveaus (met vooral verschillende verwerkingscapaciteit, grafische toepassingen en prijs).

Voorbeelden zijn Google Glass Enterprise en Vuzix Blade Smart Glasses.

Mixed reality-toestellen

MR-toestellen maken een immersieve ervaring mogelijk waar de echte en de virtuele (digitale) wereld worden gecombineerd. De gebruiker kan in de echte wereld interageren met virtuele voorwerpen alsof ze echt waren en kan ze aanraken, nieuwe afmetingen geven en meer.

Voorbeelden zijn Microsoft HoloLens 2, Magic Leap ONE en NReal.

Head-up display (HUD)

Een is in feite een transparant beeldscherm waarop digitale informatie wordt geprojecteerd die de visuele informatie in de analoge wereld verbetert.

Haptische technologie

In een VR/AR-scherm brengt haptische technologie de ervaring naar een hoger immersieniveau. Naast geluid en beeld kun je dankzij haptische technologie ook voelen en aanraken. Voorbeelden van haptische toestellen zijn digitale handschoenen of zetels en bewegingsplatforms waarin VR/AR-oplossingen geïntegreerd zijn.

Virtuele Ervaringen delen

Om andere werelden te kunnen ervaren en er interactie mee te kunnen hebben, hebben we het hardwareplatform (zoals in het vorige hoofdstuk besproken) nodig in combinatie met een softwareplatform. De software bepaalt de interacties en ervaringen in werelden die overlappen met de onze of in onze werelden waarvan we ons loskoppelen van onze realiteit om ons in nieuwe digitale werkelijkheden onder te dompelen.

Mens-computerinteractie

Een snelle blik op de evolutie van mens-computerinteractie (MCI) is belangrijk om ons te helpen begrijpen hoe mensen hun interactie hebben ontwikkeld met de digitale wereld. Robert Scole en Shel Israel stellen in hun boek The 4th transformation: how AR and AI change everything dat er vier sleutelmomenten te onderscheiden zijn in deze evolutie:

1. Typen (tekst)

2. Aanwijzen en klikken (muis)

3. Aanraken (smartphones – momenteel de overheersende vorm)

4. Natuurlijke interactie (MR-bril – de toekomst van interactie?)

Zo komen we tot de vaststelling dat ons brein handelt en interageert in 3D; het is onze natuurlijke manier om met de wereld rondom ons te interageren. In feite zijn wij geen echte verbruikers van 2D-schermen, we zijn alleen gewoon geworden ermee te werken. Nu we kunnen interageren in 3D, gaan we terug naar onze roots van natuurlijke interactie, ook al verloopt die interactie dan, zelfs in deze bijzondere context, digitaal.

Spatial computing

Volgens Simon Greenwold (2003) is spatial computing ‘menselijke interactie met een computer, waarbij de computer referenties naar echte voorwerpen en ruimtes weerhoudt en manipuleert’. Spatial computing is de belangrijkste stap bij de evolutie van 2D- naar 3D-interacties. Shashi Shekhar en Pamela Vold definiëren het in het boek Spatial Computing (MIT Press, 2019) als ‘... een reeks ideeën en technologieën die ons leven omvormen door de fysieke wereld te begrijpen, onze relatie met plaatsen in die wereld te kennen en erover te communiceren, en door deze plaatsen te navigeren.’

Wanneer het gaat om uitgebreide werkelijkheid, betekent dit dat het systeem de notie heeft van de ruimte die het omringt. In feite gebruikt het systeem de ruimte rond de gebruiker als canvas voor de interactie met de gebruiker. In wezen maakt het systeem gebruik van de interacties van de gebruiker (zoals lichaamsbewegingen, gebaren of andere gegevensbronnen) als input voor digitale interacties in combinatie met de fysieke ruimte. Spatial computing maakt de vermenging van de reële wereld en de digitale wereld mogelijk. Het kan ook worden gezien als het raamwerk van software en hardware dat XR-ervaringen ondersteunt.

Tegenwoordig is spatial computing naar nieuwe niveaus getild om nieuwe functionaliteiten en mogelijkheden te creëren in het XR-universum door de evolutie van 3D-beeldvormingstechnieken en AR/VR-headsets (of hybride uitrusting die beide mixt), AR-brillen en haptische uitrusting die onze interactie met deze nieuwe realiteiten natuurlijker en authentieker maken.

Apparaat- en platformafhankelijkheden

Een andere belangrijke vraag is welk type VR/AR we gaan maken en voor welk platform en apparaten we ons product willen maken. Dit alles is van cruciaal belang wanneer we beslissen wat we nodig hebben om het best mogelijke product (ervaring) te creëren.

Het hele proces is complex, vraagt om verschillende vaardigheden en competenties en omvat verschillende expertisegebieden. We hebben het over interdisciplinaire teams die in samenwerkingsprocessen werken, ondersteund door deskundigen met verschillende gebieden van technologische kennis.

Dit is een samenvatting van enkele softwaretools en -platforms die gebruikt worden bij de ontwikkeling van VR en AR projecten:

• 3D-modelleren / scannen: Blender, 3ds Max, MODO, Maya, SketchUP

• VR- en AR-platformontwikkeling: Unity, Unreal, Amazon Sumerian

• Software development kits (SDK’s) / frameworks: ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Webomgeving: AFrame, Web XR API, AR.js