Wprowadzenie do poszerzonej rzeczywistości: AR, VR i MR

Historia i ewolucja poszerzonej rzeczywistości

Na przestrzeni dziejów człowiek zawsze poszukiwał wizualnych sposobów wyrażania swojej wyobraźni, kreatywności i chęci wyjścia poza świat materialny. Celem jest tu przedstawienie scen, chwil i przeżyć, których inni mogą doświadczać wszystkimi swoimi zmysłami, co otwiera możliwość realizacji marzeń, ambicji i wizji - a nawet życia w wyimaginowanych światach.

Przy wsparciu technologii możemy uzyskać bardziej rzeczywiste i namacalne doświadczenia przy całkowitym zanurzeniu naszych zmysłów. Jest to możliwe za pomocą wirtualizacji i rozszerzenia naszej rzeczywistości lub poprzez połączenie obu w mieszanym środowisku. W tym rozdziale omówimy poszerzoną rzeczywistość (XR), która obejmuje rzeczywistość wirtualną (VR), rzeczywistość rozszerzoną (AR) i rzeczywistość mieszaną (MR). Zanim przejdziemy do definicji zacznijmy od krótkiego przedstawienia historii.

Od Sali Byków do stereoskopu i maszyny Sensorama

Historia dostarcza nam wiele przykładów, w których możemy dostrzec pragnienie wizualnego przedstawiania i doświadczania rzeczy. Możemy rozpocząć naszą podróż w czasach prehistorycznych i cofnąć się około 15 000 lat temu do Lascaux (jaskini znajdującej się na terenie dzisiejszej Francji). Ludzie stworzyli wtedy około 600 malowideł ściennych przedstawiających duże zwierzęta w tak zwanej "Sali Byków". Jest to jedna z pierwszych zachowanych reprezentacji zdolności człowieka do projekcji rzeczywistości wykraczającej poza jego indywidualne doświadczenie na dany fragment czasu - umożliwiając w ten sposób innym doświadczanie rzeczywistości poprzez zanurzenie się w obrazach stworzonych przez innych.

Możemy znaleźć wiele innych przykładów w historii, ale kluczowym momentem w wykorzystaniu technologii do stworzenia urządzenia przeznaczonego specjalnie do umożliwienia użytkownikowi zanurzenia się w wirtualnym doświadczeniu było wynalezienie przez Charlesa Wheatstone'a stereoskopu w 1838 roku. Stereoskop pokazywał użytkownikom dwa oddzielne obrazy dla każdego oka, tworząc wrażenie unikalnego obrazu 3D. Był to przełom w tworzeniu przenośnego i spersonalizowanego doświadczenia wirtualnej rzeczywistości. Wiele osób pamięta dziś zmodyfikowaną wersję stereoskopu o nazwie View-Master jako zabawkę z dzieciństwa.

W tym kontekście należy również wspomnieć o maszynie Sensorama. Urządzenie to było jedną z pierwszych maszyn z immersyjną technologią multisensoryczną. Stworzona w 1962 roku przez Mortona Heiliga, Sensorama wyświetlała obrazy w stereoskopowym formacie 3D, łącząc dźwięk stereo, ruchome krzesło do pochylania ciała, wiatr i zapachy. Był to pierwszy system VR.

Na początku lat 90-tych na Uniwersytecie Illinois opracowano system CAVE (Cave Automatic Virtual Environment). W tym immersyjnym środowisku wiele projektorów jest skierowanych na ściany na obszarze wielkości pokoju, w którym użytkownik nosi okulary 3D, aby doświadczyć wirtualnej rzeczywistości. Ten skok w dziedzinie symulowanych środowisk jest do dziś wykorzystywany przez inżynierów produktu, symulatory lotu, planowanie budowy i wiele innych.

Obecnie postępy w dziedzinie AR/VR/MR zmierzają w kierunku bardziej przenośnych, realistycznych, spersonalizowanych i efektywnych kosztowo środków, dzięki którym rzeczywistość wirtualna stanie się wszechobecnym narzędziem do wielu różnych zastosowań przemysłowych i osobistych. W przyszłości te narzędzia i technologie będą tak powszechne, jak dziś komputery osobiste i inne inteligentne urządzenia. Wkrótce trudno będzie wyobrazić sobie, jak wyglądał nasz świat przed rzeczywistością wirtualną.

Definicje AR/VR/MR

Rzeczywistość rozszerzona (Augmented Reality)

Według Szwajcarskiego Stowarzyszenia Rzeczywistości Wirtualnej i Rozszerzonej (SSVAR), "Rzeczywistość rozszerzona (AR) nakłada cyfrowo stworzone treści na rzeczywiste otoczenie użytkownika. Doświadczenia AR mogą obejmować zarówno tekst informacyjny nałożony na obiekty lub miejsca, jak i interaktywne fotorealistyczne obiekty wirtualne. AR różni się od rzeczywistości mieszanej tym, że obiekty AR (np. grafika, dźwięki) są nakładane na środowisko użytkownika, a nie integrowane z nim."

Aby lepiej zrozumieć pojęcie rozszerzonej rzeczywistości wystarczy przypomnieć sobie Pokémon GO. Gra zaprasza nas do poszukiwania i chwytania "cyfrowych" stworzeń (nie należących do naszego fizycznego świata), które są dodawane jako warstwy (hologramy) na powierzchni prawdziwego świata. Albo weźmy na przykład filmy o Iron Manie, gdzie analogowy świat jest wzbogacony o cyfrowe interfejsy.

Wirtualna rzeczywistość

"Wirtualna rzeczywistość (VR) jest w pełni pochłaniającym użytkownika środowiskiem, wpływającym lub zmieniającym bodźce sensoryczne (np. wzrok, dźwięk, dotyk i zapach), które może umożliwić interakcję z tymi bodźcami sensorycznymi w oparciu o zaangażowanie użytkownika w wirtualny świat. Zazwyczaj, ale nie wyłącznie, interakcja odbywa się poprzez wyświetlacz montowany na głowie, wykorzystanie dźwięku przestrzennego lub innego, i/lub kontrolerów ruchu (z lub bez dotykowego wejścia lub informacji zwrotnej).” -SSVAR, 2021

Aby lepiej zrozumieć, czym jest wirtualna rzeczywistość, możemy posłużyć się filmem Matrix jako przykładem. Są to konteksty, w których jesteśmy przenoszeni do wirtualnych światów cyfrowych, pozostawiając nasz analogowy (fizyczny) świat za sobą.

Ale jak te dwie technologie mają się do siebie nawzajem oraz do świata rzeczywistego i cyfrowego? Jak można zauważyć, wirtualna rzeczywistość opiera się na środowisku całkowicie wygenerowanym komputerowo. AR znajduje się pomiędzy cyfrowym, generowanym komputerowo światem a światem rzeczywistym.

Rzeczywistość mieszana

"Rzeczywistość mieszana (MR) płynnie łączy rzeczywiste środowisko użytkownika z cyfrowo stworzoną treścią, gdzie oba środowiska współistnieją, tworząc hybrydowe doświadczenie. W MR wirtualne obiekty zachowują się we wszystkich aspektach tak, jakby były obecne w świecie rzeczywistym - np. są zasłonięte przez obiekty fizyczne, ich oświetlenie jest zgodne z rzeczywistymi źródłami światła w otoczeniu, wydają dźwięki tak, jakby znajdowały się w tej samej przestrzeni co użytkownik. W miarę jak użytkownik wchodzi w interakcje z obiektami rzeczywistymi i wirtualnymi, obiekty wirtualne będą odzwierciedlać zmiany w środowisku, tak jak każdy rzeczywisty obiekt w tej samej przestrzeni." -SSVAR, 2021

Czasami MR może być mylone z AR i odwrotnie, ponieważ oba dotyczą połączenia świata rzeczywistego i cyfrowego. Kluczowa różnica polega na tym, że w środowisku MR jesteśmy w stanie wchodzić w interakcje z urządzeniami cyfrowymi - nie są one tylko nakładane na świat rzeczywisty, stają się integralną częścią świata, w którym jesteśmy w stanie wchodzić z nimi w interakcje. W MR zarówno świat fizyczny, jak i cyfrowy są ze sobą połączone, reprezentując tylko jedną rzeczywistość.

Być może lepszym sposobem na zrozumienie wszystkich tych technologii we właściwym kontekście jest “kontinuum wirtualności”, termin stworzony przez Paula Milgrama, Haruo Takemurę, Akirę Utsumi i Fumio Kishino w 1994 roku. Kontinuum wirtualności jest w istocie skalą rozciągającą się od świata rzeczywistego i rzeczywistości fizycznej na jednym końcu do całkowicie wirtualnej rzeczywistości z drugiej strony.

Poniższy obraz ilustruje również różnice między VR, AR i MR w ich konkretnych kontekstach przedstawień.

Od lewej do prawej: VR, AR i MR

Definiując VR, AR i MR należy pamiętać,w którym miejscu wpisują się one w szersze ramy poszerzonej rzeczywistości (XR). XR to parasol, pod którym kryją się trzy konkretne dziedziny AR, VR i MR.

Pole widzenia

Pole widzenia (FOV) jest ważnym pojęciem w XR, niezależnie od tego, czy mówimy o VR, AR czy MR. FOV to koncepcja, która definiuje sposób, w jaki doświadczamy XR. Określa ono, jak wiele możemy zobaczyć, a to ma ogromny wpływ na nasze odczucia i sposób, w jaki internalizujemy doświadczenie. W istocie FOV to część oglądanego świata, która jest widziana w danym momencie i jest mierzona w stopniach. Ma ono znaczenie nie tylko ze względów ilościowych (wartość kąta, jaką osiąga), ale również jakościowych. Dotyczy to urządzeń, które wykorzystujemy w XR, mogą być to gogle VR labo okulary MR/AR. Dlatego ważne jest, aby być świadomym i sprawdzić, co różne rodzaje sprzętu XR oferują i umożliwiają w tym obszarze.

Stopnie swobody (DoF)

Istnieją dwa poziomy lub stopnie swobody (DoF), które definiują jakość i poziom zanurzenia w doświadczeniach VR i AR. Są to poziom 3 (3DoF) i poziom 6 (6DoF).

Te poziomy swobody uzyskujemy dzięki goglom VR, a dokładniej dzięki całemu systemowi, który wspiera doświadczenie. Zatem używając gogli VR lub AR powinniśmy zwrócić uwagę na możliwy poziom DoF, ponieważ będzie to miało ogromny wpływ na rodzaj doświadczenia immersyjnego, które uzyskamy.

3 stopnie swobody (3DoF)

Poziom 3 rozpoznaje trzy ruchy - system śledzi ruch obrotowy wokół osi x, y i z (znany również jako pitch, yaw i roll), ale nie translacyjny. Nie wykrywa on fizycznego ruchu użytkownika, a jedynie rozpoznaje ruchy głowy wokół trzech osi. Oznacza to, że użytkownik nie będzie reprezentowany w wirtualnym świecie podczas chodzenia, skakania lub poruszania się na boki.

Przykład zestawu gogli 3DoF: Oculus GO

6 stopni swobody (6DoF)

Poziom 6 rozpoznaje sześć ruchów - system śledzi zarówno ruch obrotowy, jak i postępowy ciała w przestrzeni 3D. Zasadniczo posiadanie 6DoF w wirtualnym doświadczeniu oznacza, że użytkownik może "obracać się":

• Ruch pomiędzy X i Y - pochylanie głowy do przodu i do tyłu

• Ruch między X i Z - kręcenie głową

• Ruch pomiędzy Z i Y - pochylanie głowy na boki

a użytkownik może również "postępować”:

• Poruszanie się w górę i w dół wzdłuż osi Y - przechylanie ciała na boki

• Poruszanie się w do przodu i do tyłu wzdłuż osi x - podnoszenia się w górę i w dół

• Poruszanie się w lewo i w prawo wzdłuż osi Z - przechylanie ciała do przodu i do tyłu

Oznacza to, że ruchy użytkownika będą odzwierciedlone w wirtualnym świecie nie tylko gdy porusza on głową, ale także gdy chodzi, skacze lub porusza się na boki.

Przykład zestawu gogli 6DoF: Microsoft HoloLens 2

W jaki sposób działa VR/AR?

Ale jak możemy doświadczyć VR, AR lub MR? Co jest potrzebne, abyśmy mogli przenosić się z naszego świata fizycznego do wirtualnego, jak możemy nakładać cyfrowe obiekty na świat rzeczywisty, a nawet wchodzić z nimi w interakcję i manipulować nimi? Innymi słowy, jakiego sprzętu i oprogramowania potrzebujemy?

Odpowiedź zależy oczywiście od tego, jak głębokiego i "realnego" doświadczenia oczekujemy. Na przykład jeśli posiadasz smartfon (z kilkoma podstawowymi czujnikami, takimi jak akcelerometr i żyroskop dla VR), najprawdopodobniej możesz korzystać z doświadczeń VR lub AR. Dla przykładu do doświadczenia VR potrzebujesz tylko urządzenia takiego jak Google Cardboard i oczywiście aplikacji VR lub doświadczenia WebVR opracowanego w formacie i kontekście strony internetowej.

Twój smartfon jest potężnym urządzeniem, które z łatwością może pozwolić Ci doświadczać i zmieniać fizyczny świat wokół Ciebie. Niemniej jednak musimy zrozumieć jakość doświadczenia, które możemy uzyskać za pomocą urządzenia mobilnego w porównaniu do doświadczenia uzyskiwanego za pomocą systemu, który został zaprojektowany i zbudowany wyłącznie w celu zapewnienia doświadczenia VR lub AR, takiego jak wyświetlacz montowany na głowie (HMD). Na przykład przyjrzyjmy się dwóm kolejnym sytuacjom, które ilustrują wykorzystanie smartfona do doświadczenia VR i AR.

Wymagania sprzętowe i programowe

Doświadczanie rzeczywistości wirtualnej, rozszerzonej lub mieszanej w sposób immersyjny wymaga odpowiedniego połączenia elementów sprzętu i oprogramowania. Od tego połączenia zależy poziom immersji, doznań, wrażeń i realizmu. Smartfony zapewniają mniej immersyjne doświadczenia. Na drugim końcu skali wysoki poziom immersji i doznań jest możliwy dzięki specjalnym urządzeniom, które zazwyczaj są rozwiązaniami biznesowymi lub grami.

Urządzenia sprzętowe do doświadczeń AR/VR i MR

Jeśli chodzi o sprzęt, mamy do dyspozycji wiele różnych urządzeń i przedmiotów, które umożliwiają doświadczenia wirtualne. Ich wykorzystanie i manipulowanie nimi zależy od konkretnego kontekstu, w którym są wdrażane i używane. Na przykład użytkowanie osobiste (np. zwiedzanie innych miejsc za pomocą filmów 360 stopni) wymaga pewnego poziomu złożoności. Sprawy stają się bardziej złożone, jeśli chcemy doświadczać gier w środowisku wirtualnym, a zupełnie inny poziom złożoności wymagany jest przy tworzeniu środowiska do szkoleń biznesowych.

Urządzenia montowane na głowie (HMD)

Według Wikipedii "wyświetlacz montowany na głowie (HMD) jest urządzeniem do wyświetlania, noszonym na głowie lub jako część kasku, które posiada mały układ optyczny wyświetlacza przed jednym (monokularne HMD) lub każdym okiem (binokularne HMD). HMD ma wiele zastosowań, w tym w grach, lotnictwie, inżynierii i medycynie. Zestawy gogli do rzeczywistości wirtualnej to urządzenia HMD połączone z jednostkami IMU. Istnieje również optyczny wyświetlacz montowany na głowie (OHMD), czyli wyświetlacz noszony na głowie, który może odbijać wyświetlane obrazy i pozwala użytkownikowi na widzenie przez niego.”

Istnieją dwa rodzaje HMD z punktu widzenia ich funkcjonalności:

• Mobilne, które nie wymagają połączenia z innym urządzeniem
  Przykłady to Oculus Go/Quest i Google Daydream

• Tethered, który wymaga połączenia z komputerem PC lub konsolą do gier wideo
  Przykłady to Oculus Rift S i HTC Vive

Wyświetlacze kartonowe

Wyświetlacz kartonowy pozwala użytkownikowi doświadczyć wirtualnej rzeczywistości w ekonomicznym i dostępnym formacie za pomocą smartfona i aplikacji wirtualnej rzeczywistości.

Przykładem tego jest Google Cardboard

Okulary AR

Zasadniczo są to okulary z możliwością i funkcjami pozwalającymi użytkownikom na doświadczenie rozszerzonej rzeczywistości. Są one dostępne w wielu formatach i z różnymi poziomami użytkowania (różnią się głównie wydajnością przetwarzania, charakterystyką grafiki i ceną).

Przykładami są Google Glass Enterprise i Vuzix Blade Smart Glasses.

Urządzenia do rzeczywistości mieszanej

Urządzenia do rzeczywistości mieszanej (MR) umożliwiają doświadczenie, w którym świat rzeczywisty i wirtualny (cyfrowy) są połączone. Użytkownik może wchodzić w interakcje w świecie rzeczywistym z wirtualnymi obiektami, tak jakby były rzeczywiste, może je dotykać, zmieniać ich rozmiar i nie tylko.

Przykłady to Microsoft HoloLens 2, Magic Leap ONE i NReal.

Wyświetlacz przezierny (Heads-up display, HUD)

Wyświetlacz przezierny jest zasadniczo przezroczystym wyświetlaczem z projekcją informacji cyfrowych, które wzbogacają informacje wizualne w świecie analogowym.

Haptyka

W wyświetlaczach VR/AR haptyka wnosi doświadczenie na kolejny poziom immersji. Haptyka, oprócz dźwięku i obrazu, pozwala także na odczuwanie i dotykanie. Przykładami urządzeń haptycznych są cyfrowe rękawice lub fotele i platformy ruchowe zintegrowane z rozwiązaniami VR/AR.

Tworzenie wirtualnych doświadczeń

Do tego, abyśmy mogli doświadczać innych światów i wchodzić w interakcje z nimi, potrzebujemy platformy sprzętowej (omówionej w poprzedniej części) w połączeniu z platformą programową. Oprogramowanie jest tym, co definiuje interakcje i doświadczenia w światach, które nakładają się na naszą rzeczywistość lub w światach, w których odłączamy się od niej i zanurzamy się w nowej cyfrowej rzeczywistości.

Interakcja człowiek-maszyna

Krótkie spojrzenie na ewolucję interfejsu człowiek-maszyna (HMI) jest potrzebne do zrozumienia, w jaki sposób ludzie rozwinęli swoją interakcję ze światem cyfrowym. Według Roberta Scolbe i Shel Israel na podsyawie ich książki "The 4th transformation: how AR and AI change everything" istnieją cztery kluczowe momenty tej ewolucji:

1. Pisanie na klawiaturze (tekst)

2. Wskazywanie i klikanie (mysz)

3. Dotyk (smartfony - obecnie dominująca forma)

4. Naturalna interakcja (okulary MR - przyszłość interakcji?)

To prowadzi nas do wniosku, że nasz mózg działa i wchodzi w interakcje w 3D - jest to nasz naturalny sposób interakcji z otaczającym nas światem. Prawdę mówiąc nie jesteśmy prawdziwymi konsumentami ekranów 2D, po prostu przyzwyczailiśmy się do nich. Teraz, gdy mamy możliwość interakcji w 3D, wracamy do naszej naturalnej interakcji - nawet jeśli w tym konkretnym kontekście interakcja jest cyfrowa.

Komputeryzacja przestrzenna

Według Simona Greenwolda (2003) komputeryzacja przestrzenna to "interakcja człowieka z maszyną, w której maszyna zachowuje i manipuluje odniesieniami do rzeczywistych obiektów i przestrzeni". Komputeryzacja przestrzenna jest kluczowym krokiem w przejściu od interakcji 2D do interakcji 3D. Shashi Shekhar i Pamela Vold w książce Spatial Computing (MIT Press, 2019) definiują ją jako "...zestaw pomysłów i technologii, które przekształcają nasze życie poprzez zrozumienie świata fizycznego, poznanie i komunikowanie naszego stosunku do miejsc w tym świecie oraz nawigowanie w tych miejscach."

Jeśli chodzi o poszerzoną rzeczywistość, oznacza to, że system posiada świadomość przestrzeni, która go otacza. Zasadniczo system wykorzystuje przestrzeń wokół użytkownika jako kanwę do interakcji z użytkownikiem. W istocie system wykorzystuje interakcje użytkownika (takie jak ruchy ciała, gesty lub inne źródła danych) jako dane wejściowe dla interakcji cyfrowych w połączeniu z przestrzenią fizyczną. Komputeryzacja przestrzenna pozwala na połączenie świata rzeczywistego i cyfrowego. Można ją również postrzegać jako ramy oprogramowania i sprzętu, które obsługują doświadczenia XR.

Obecnie komputeryzacja przestrzenna została przeniesiona na nowy poziom, aby móc tworzyć nowe funkcje i możliwości we wszechświecie XR poprzez rozwój technik obrazowania 3D i zestawów gogli AR/VR (lub sprzętu hybrydowego, który łączy i jedno i drugie), okularów AR i sprzętu haptycznego, które sprawiają, że nasza interakcja z tymi nowymi rzeczywistościami jest bardziej naturalna i autentyczna.

Zależności między urządzeniami i platformami

Kolejną ważną kwestią jest to, jakiego typu VR/AR będziemy tworzyć oraz na jaką platformę i urządzenia kierujemy nasz produkt. Wszystko to jest bardzo ważne, gdy decydujemy, co będzie nam potrzebne do stworzenia najlepszego produktu (doświadczenia).

Cały proces jest złożony i wymaga różnych umiejętności i kompetencji oraz obejmuje różne dziedziny wiedzy. Mówimy o interdyscyplinarnych zespołach, które pracują wspólnie, wspierane przez ekspertów z różnych dziedzin wiedzy technologicznej.

Poniżej znajduje się podsumowanie niektórych narzędzi programistycznych i platform wykorzystywanych w rozwoju projektów VR i AR:

• Modelowanie / skanowanie 3D: Blender, 3ds Max, MODO, Maya, SketchUP

• Tworzenie platform VR i AR: Unity, Unreal, Amazon Sumerian

• Pakiety / ramy programistyczne (SDKs): ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Środowisko internetowe: AFrame, Web XR API, AR.js