Εισαγωγή στην εκτεταμένη πραγματικότητα: Επαυξημένη, εικονική και μικτή πραγματικότητα

Η ιστορία και η εξέλιξη της εκτεταμένης πραγματικότητας

Σε όλη την ιστορία, οι άνθρωποι πάντα αναζητούσαν οπτικούς τρόπους για να εκφράσουν τη φαντασία, τη δημιουργικότητα και την επιθυμία τους να προχωρήσουν πέρα από τον φυσικό κόσμο. Στόχος είναι η αναπαράσταση σκηνών, στιγμών και εμπειριών που θα επιτρέπουν σε άλλους να τις βιώνουν με όλες τις αισθήσεις τους, προσφέροντας την ευκαιρία πραγμάτωσης ονείρων, φιλοδοξιών και οραμάτων ή και ζωής σε φανταστικούς κόσμους.

Με την υποστήριξη της τεχνολογίας, μπορούμε να έχουμε πιο πραγματικές και συγκεκριμένες εμπειρίες με απόλυτη εμβύθιση για τις αισθήσεις μας. Αυτό είναι δυνατό μέσω της εικονικοποίησης και της επαύξησης της πραγματικότητάς μας ή με τον συνδυασμό και των δύο σε ένα μικτό περιβάλλον. Σε αυτό το κεφάλαιο θα συζητήσουμε την εκτεταμένη πραγματικότητα (XR), η οποία καλύπτει την εικονική πραγματικότητα (VR), την επαυξημένη πραγματικότητα (AR) και τη μικτή πραγματικότητα (MR). Πριν προχωρήσουμε σε ορισμούς, ας ξεκινήσουμε με ένα σύντομο ιστορικό.

Από τη Μεγάλη Αίθουσα των Ταύρων στο στερεοσκόπιο και τη μηχανή Sensorama

Υπάρχουν πολλά παραδείγματα στην ιστορία όπου φαίνεται η επιθυμία να αναπαραστήσουμε και να βιώσουμε τον κόσμο σε οπτικό επίπεδο. Μπορούμε να ξεκινήσουμε το ταξίδι μας στους προϊστορικούς χρόνους και να πάμε περίπου 15.000 χρόνια πίσω στο Lascaux (μια σπηλιά που βρίσκεται στη σημερινή Γαλλία). Τότε οι άνθρωποι δημιούργησαν περίπου 600 τοιχογραφίες μεγάλων ζώων στην καλούμενη «Μεγάλη Αίθουσα των Ταύρων (Great Hall of the Bulls)». Αυτή είναι μία από τις πρώτες αναπαραστάσεις που υπάρχουν ακόμα της ικανότητας του ανθρώπου να παρουσιάζει πραγματικότητες πέρα από την ατομική του εμπειρία σε ένα δεδομένο τμήμα χρόνου – επιτρέποντας έτσι σε άλλους να βιώνουν πραγματικότητες μέσω της εμβύθισης σε εικόνες που δημιουργήθηκαν από άλλους.

Μπορούμε να βρούμε πολλά άλλα παραδείγματα στον ρου της ιστορίας, αλλά μια σημαντική στιγμή στην αξιοποίηση της τεχνολογίας για τη δημιουργία μιας συσκευής ειδικά σχεδιασμένης για να βυθίζεται ο χρήστης σε μια εικονική εμπειρία ήταν η εφεύρεση του στερεοσκοπίου από τον Charles Wheatstone το 1838. Το στερεοσκόπιο επέτρεπε στους χρήστες να βλέπουν δύο χωριστές εικόνες για κάθε μάτι, δημιουργώντας την αίσθηση μιας μοναδικής τρισδιάστατης εικόνας. Αυτό ήταν μια ανακάλυψη στη δημιουργία μιας φορητής και εξατομικευμένης εμπειρίας της εικονικής πραγματικότητας. Πολλοί σήμερα θα θυμούνται μια τροποποιημένη έκδοση του στερεοσκόπιου που ονομαζόταν View-Master ως παιχνίδι για τα παιδιά.

Στο πλαίσιο αυτό, είναι επίσης σημαντικό να αναφέρουμε τη μηχανή Sensorama. Αυτή η συσκευή ήταν ένα από τα πρώτα μηχανήματα με εμβυθιστική πολυαισθητηριακή τεχνολογία. Το Sensorama, που δημιουργήθηκε το 1962 από τον Morton Heilig, προέβαλε εικόνες σε τρισδιάστατη στερεοσκοπική μορφή, συνδυάζοντας τον στερεοφωνικό ήχο, μια κινούμενη καρέκλα για να τοποθετείται το σώμα σε κλίση, τον άνεμο και τα αρώματα. Αυτό ήταν το πρώτο σύστημα εικονικής πραγματικότητας.

Προχωρώντας στις αρχές της δεκαετίας του 1990, στο Πανεπιστήμιο του Ιλινόις αναπτύχθηκε το σύστημα CAVE (Cave Automatic Virtual Environment - Αυτόματο Εικονικό Περιβάλλον Σπηλαίου). Σε αυτό το περιβάλλον εμβύθισης, πολλοί προβολείς είναι στραμμένοι σε τοίχους σε μια περιοχή με μέγεθος δωματίου, όπου ο χρήστης φοράει τρισδιάστατα γυαλιά για να βιώσει την εικονική πραγματικότητα. Αυτή η εξέλιξη με τα προσομοιωμένα περιβάλλοντα χρησιμοποιείται μέχρι σήμερα από μηχανικούς προϊόντων, προσομοιωτές πτήσεων, υπεύθυνους σχεδιασμού κατασκευών και άλλους.

Σήμερα, οι εξελίξεις στον τομέα της εικονικής πραγματικότητας, της επαυξημένης πραγματικότητας και της μικτής πραγματικότητας στρέφονται προς πιο φορητά, ρεαλιστικά, εξατομικευμένα και οικονομικά αποδοτικά μέσα που θα επιτρέπουν στην εικονική πραγματικότητα να είναι ένα εργαλείο ευρείας εφαρμογής για διάφορες χρήσεις βιομηχανικού και προσωπικού χαρακτήρα. Στο μέλλον, αυτά τα εργαλεία και οι τεχνολογίες θα είναι τόσο διαδεδομένα όσο είναι σήμερα οι προσωπικοί υπολογιστές και άλλες έξυπνες συσκευές. Σύντομα, θα είναι δύσκολο να φανταστεί κανείς τον κόσμο μας πριν από την εικονική πραγματικότητα.

Ορίζοντας την επαυξημένη, την εικονική και τη μικτή πραγματικότητα

Επαυξημένη πραγματικότητα

Σύμφωνα με την Ελβετική Ένωση Εικονικής και Επαυξημένης Πραγματικότητας (SSVAR), η «επαυξημένη πραγματικότητα υπερθέτει ψηφιακά δημιουργημένο περιεχόμενο στο πραγματικό περιβάλλον του χρήστη. Οι εμπειρίες επαυξημένης πραγματικότητας μπορεί να αφορούν από ενημερωτικό κείμενο επάνω σε αντικείμενα ή τοποθεσίες μέχρι διαδραστικά φωτορεαλιστικά εικονικά αντικείμενα. Η επαυξημένη πραγματικότητα διαφέρει από τη μικτή πραγματικότητα υπό την έννοια ότι τα αντικείμενα επαυξημένης πραγματικότητας (π.χ. γραφικά, ήχοι) υπερτίθενται και δεν ενσωματώνονται στο περιβάλλον του χρήστη».

Για να κατανοήσετε καλύτερα την έννοια της επαυξημένης πραγματικότητας, απλά πρέπει να θυμηθείτε το Pokémon GO. Το παιχνίδι μας καθοδηγεί στην αναζήτηση και αιχμαλώτιση «ψηφιακών» πλασμάτων (που δεν ανήκουν στον φυσικό μας κόσμο) τα οποία προστίθενται ως επίπεδα (ολογράμματα) επάνω στον πραγματικό κόσμο. Ή σκεφτείτε τις ταινίες Iron Man, για παράδειγμα, όπου ο αναλογικός κόσμος ενισχύεται με ψηφιακές διασυνδέσεις.

Εικονική πραγματικότητα

Η «εικονική πραγματικότητα είναι ένα περιβάλλον χρήστη πλήρους εμβύθισης που επηρεάζει ή μεταβάλλει τα αισθητηριακά ερεθίσματα (π.χ. όραση, ήχο, αφή και οσμή) και μπορεί να δώσει τη δυνατότητα αλληλεπίδρασης με αυτά τα αισθητηριακά ερεθίσματα με βάση τη συμμετοχή του χρήστη στον εικονικό κόσμο. Η αλληλεπίδραση γίνεται τυπικά, αλλά όχι αποκλειστικά, μέσω μιας οθόνης προσαρμοσμένης στο κεφάλι, της χρήσης χωρικού ή άλλου ήχου ή/και ελεγκτών κίνησης (με ή χωρίς ερεθίσματα ή ανάδραση αφής).» -SSVAR, 2021

Για να καταλάβουμε καλύτερα τι είναι η εικονική πραγματικότητα, μπορούμε να χρησιμοποιήσουμε την ταινία The Matrix για παράδειγμα. Αυτά είναι περιβάλλοντα στα οποία μεταφερόμαστε σε εικονικούς ψηφιακούς κόσμους, αφήνοντας πίσω μας τον αναλογικό (φυσικό) κόσμο.

Αλλά πώς σχετίζονται αυτές οι δύο τεχνολογίες και ο πραγματικός με τον ψηφιακό κόσμο; Όπως μπορούμε να δούμε, η εικονική πραγματικότητα υποστηρίζεται από ένα περιβάλλον που δημιουργείται συνολικά από υπολογιστή. Η επαυξημένη πραγματικότητα βρίσκεται μεταξύ του ψηφιακού κόσμου που δημιουργούν οι υπολογιστές και του πραγματικού κόσμου.

Μικτή πραγματικότητα

Η «μικτή πραγματικότητα συνδυάζει απρόσκοπτα το πραγματικό περιβάλλον ενός χρήστη με το ψηφιακά δημιουργημένο περιεχόμενο, όπου και τα δύο περιβάλλοντα συνυπάρχουν για να δημιουργήσουν μια υβριδική εμπειρία. Στη μικτή πραγματικότητα, τα εικονικά αντικείμενα συμπεριφέρονται υπό κάθε έννοια σαν να βρίσκονται στον πραγματικό κόσμο – π.χ. εμποδίζονται από φυσικά αντικείμενα, ο φωτισμός τους συνάδει με τις πραγματικές πηγές φωτός στο περιβάλλον, ακούγονται σαν να βρίσκονται στον ίδιο χώρο με τον χρήστη. Καθώς ο χρήστης αλληλεπιδρά με τα πραγματικά και εικονικά αντικείμενα, τα εικονικά αντικείμενα θα αντανακλούν τις αλλαγές στο περιβάλλον όπως θα το έκανε κάθε πραγματικό αντικείμενο στον ίδιο χώρο.» -SSVAR, 2021

Μερικές φορές, θα μπορούσε να υπάρξει σύγχυση της μικτής πραγματικότητας με την επαυξημένη πραγματικότητα και το αντίστροφο, καθώς και οι δύο αναφέρονται σε έναν συνδυασμό του πραγματικού και του ψηφιακού κόσμου. Η βασική διαφορά είναι ότι, στο περιβάλλον της μικτής πραγματικότητας, μπορούμε να αλληλεπιδρούμε με τις ψηφιακές συσκευές οι οποίες δεν υπερτίθενται μόνο στον πραγματικό κόσμο, γίνονται αναπόσπαστο μέρος του κόσμου όπου μπορούμε να αλληλεπιδρούμε μαζί τους. Στη μικτή πραγματικότητα, διασυνδέονται ο φυσικός με τον ψηφιακό κόσμο και αντιπροσωπεύονται μόνο από μία πραγματικότητα.

Ίσως ένας καλύτερος τρόπος για να κατανοήσουμε όλες αυτές τις τεχνολογίες σε ένα κατάλληλο πλαίσιο είναι μέσω του «συνεχούς της εικονικότητας», ενός όρου που επινόησαν οι Paul Milgram, Haruo Takemura, Akira Utsumi και Fumio Kishino το 1994. Το εικονικό συνεχές είναι στην ουσία μια κλίμακα που κυμαίνεται από τον πραγματικό κόσμο και τη φυσική πραγματικότητα στο ένα άκρο μέχρι μια εντελώς εικονική πραγματικότητα στο άλλο.

Η ακόλουθη εικόνα απεικονίζει επίσης τις διαφορές μεταξύ εικονικής, επαυξημένης και μικτής πραγματικότητας στα ιδιαίτερα πλαίσια αναπαράστασής τους.

Από αριστερά προς τα δεξιά: Εικονική, Επαυξημένη και Μικτή πραγματικότητα

Όταν ορίζουμε την εικονική, την επαυξημένη και τη μικτή πραγματικότητα, είναι σημαντικό να θυμόμαστε πού συμβαδίζουν με το ευρύτερο πλαίσιο της εκτεταμένης πραγματικότητας. Η εκτεταμένη πραγματικότητα είναι ο γενικός όρος που εμπερικλείει τους τρεις συγκεκριμένους τομείς της εικονικής, της επαυξημένης και της μικτής πραγματικότητας.

Οπτικό πεδίο

Το οπτικό πεδίο είναι μια σημαντική έννοια της εκτεταμένης πραγματικότητας, είτε μιλάμε για εικονική και επαυξημένη είτε για μικτή πραγματικότητα. Το οπτικό πεδίο είναι η έννοια που καθορίζει τον τρόπο με τον οποίο βιώνουμε την εκτεταμένη πραγματικότητα. Καθορίζει πόσα μπορούμε να δούμε και αυτό έχει μεγάλη επίδραση στο πώς νιώθουμε και πώς εσωτερικεύουμε την εμπειρία. Στην ουσία, το οπτικό πεδίο είναι η ποσότητα του παρατηρήσιμου κόσμου που παρατηρείται σε κάθε δεδομένη στιγμή και μετράται σε βαθμούς. Έχει σημασία όχι μόνο από την άποψη της ποσότητας (την τιμή γωνίας που αποκτά), αλλά και από την ποιότητά του. Αυτό ισχύει για τον εξοπλισμό που χρησιμοποιούμε στην εκτεταμένη πραγματικότητα, είτε πρόκειται για ακουστικά εικονικής πραγματικότητας είτε για γυαλιά μικτής/επαυξημένης πραγματικότητας. Συνεπώς, είναι σημαντικό να γνωρίζετε και να ελέγχετε τι προσφέρουν και τι καθιστούν δυνατό οι διαφορετικοί τύποι υλικού εκτεταμένης πραγματικότητας σε αυτό το συγκεκριμένο πεδίο.

Βαθμοί ελευθερίας

Υπάρχουν δύο επίπεδα ή βαθμοί ελευθερίας που καθορίζουν την ποιότητα και το επίπεδο της εμβύθισης των εμπειριών εικονικής και επαυξημένης πραγματικότητας. Ονομάζονται επίπεδο 3 και επίπεδο 6.

Αυτά τα επίπεδα ελευθερίας παρέχονται μέσα από τα ακουστικά εικονικής πραγματικότητας ή πιο συγκεκριμένα συνολικά από το σύστημα που υποστηρίζει την εμπειρία. Έτσι όταν χρησιμοποιούμε ακουστικά εικονικής ή επαυξημένης πραγματικότητας, πρέπει να εξετάζουμε το επίπεδο του βαθμού ελευθερίας που επιτρέπουν, καθώς θα έχουν τεράστιο αντίκτυπο στον τύπο της εμβυθιστικής εμπειρίας που θα έχουμε.

3 βαθμοί ελευθερίας

Το επίπεδο 3 αναγνωρίζει τρεις κινήσεις. Το σύστημα ανιχνεύει την περιστροφική κίνηση γύρω από τους άξονες x, y και z (γνωστούς και ως άξονες πρόνευσης, εκτροπής και διατοιχισµού) αλλά όχι τη μεταθετική. Δεν ανιχνεύει τη φυσική κίνηση του χρήστη, αλλά αναγνωρίζει μόνο κινήσεις του κεφαλιού γύρω από τους τρεις άξονες. Αυτό σημαίνει ότι ο χρήστης δεν θα απεικονίζεται στον εικονικό κόσμο αν περπατά, πηδά ή μετακινείται στο πλάι.

Παράδειγμα ακουστικών 3 βαθμών ελευθερίας: Oculus GO

6 βαθμοί ελευθερίας

Το επίπεδο 6 αναγνωρίζει έξι κινήσεις. Το σύστημα παρακολουθεί τόσο την περιστροφική όσο και τη μεταθετική κίνηση ενός σώματος σε έναν τρισδιάστατο χώρο. Σε γενικές γραμμές, το να υπάρχουν 6 βαθμοί ελευθερίας σε μια εικονική εμπειρία σημαίνει ότι ο χρήστης μπορεί να «περιστρέφεται»:

• κινούμενος μεταξύ Χ και Υ – πρόνευση

• κινούμενος μεταξύ Χ και Ζ – εκτροπή

• κινούμενος μεταξύ Ζ και Υ – διατοιχισμός

και ο χρήστης μπορεί επίσης να «μετατίθεται»:

• κινούμενος πάνω-κάτω κατά μήκος του άξονα Υ – κάθετη ταλάντωση

• κινούμενος προς τα εμπρός και προς τα πίσω κατά μήκος του άξονα Χ – διαμήκης ταλάντωση

• κινούμενος αριστερά και δεξιά κατά μήκος του άξονα Z – εγκάρσια ταλάντωση

Αυτό σημαίνει ότι οι κινήσεις του χρήστη θα αντικατοπτρίζονται στον εικονικό κόσμο, όχι μόνο αν μετακινήσουν το κεφάλι τους, αλλά και αν περπατήσουν, πηδήξουν ή μετακινηθούν προς το πλάι.

Παράδειγμα ακουστικών 6 βαθμών ελευθερίας: Microsoft HoloLens 2

Πώς λειτουργεί η εικονική/επαυξημένη πραγματικότητα;

Αλλά πώς μπορούμε να βιώσουμε την εικονική, την επαυξημένη ή τη μικτή πραγματικότητα; Τι χρειάζεται για να μπορέσουμε να μεταφερθούμε από τον φυσικό μας κόσμο σε εικονικούς και πώς μπορούμε να υπερθέσουμε ψηφιακά αντικείμενα στον πραγματικό κόσμο ή ακόμη και να μπορούμε να αλληλεπιδρούμε μαζί τους και να τα χειριζόμαστε; Με άλλα λόγια, τι υλικό και λογισμικό χρειαζόμαστε;

Η απάντηση εξαρτάται, φυσικά, από το πόσο βαθιά και «πραγματική» περιμένουμε να είναι η εμπειρία. Για παράδειγμα, εάν έχετε ένα smartphone (με μερικούς βασικούς αισθητήρες όπως επιταχυνσιόμετρο και γυροσκόπιο για εικονική πραγματικότητα), πιθανώς να μπορείτε να έχετε μια εμπειρία εικονικής ή επαυξημένης πραγματικότητας. Για παράδειγμα, για μια εμπειρία εικονικής πραγματικότητας χρειάζεστε μόνο μια συσκευή όπως το Google Cardboard, και φυσικά μια εφαρμογή εικονικής πραγματικότητας ή μια εμπειρία WebVR ανεπτυγμένη με τη μορφή και το περιβάλλον μιας ιστοσελίδας.

Το smartphone σας είναι μια ισχυρή συσκευή που σας επιτρέπει εύκολα να βιώσετε και να αλλάξετε τον φυσικό κόσμο γύρω σας. Ωστόσο, πρέπει να κατανοήσουμε την ποιότητα της εμπειρίας που είναι δυνατή με την κινητή σας συσκευή σε σύγκριση με την εμπειρία από ένα σύστημα που σχεδιάστηκε και κατασκευάστηκε αποκλειστικά για να παρέχει μια εμπειρία εικονικής ή επαυξημένης πραγματικότητας, όπως μια οθόνη προσαρμοσμένη στο κεφάλι. Δείτε, για παράδειγμα, τις επόμενες δύο εικόνες, οι οποίες απεικονίζουν τη χρήση ενός smartphone για την εμπειρία εικονικής και επαυξημένης πραγματικότητας.

Απαιτήσεις υλικού και λογισμικού

Για να βιώσετε την εικονική, την επαυξημένη ή τη μικτή πραγματικότητα με τρόπο που να σας καθηλώνει, απαιτείται ο σωστός συνδυασμός στοιχείων υλικού και λογισμικού. Τα επίπεδα της εμβύθισης, της εμπειρίας, της αίσθησης και του ρεαλισμού εξαρτώνται από αυτόν τον συνδυασμό. Τα smartphone παρέχουν μια λιγότερο καθηλωτική εμπειρία. Στο άλλο άκρο της κλίμακας, ένα υψηλό επίπεδο εμβύθισης και δημιουργίας αισθήσεων είναι δυνατό με ειδικές συσκευές, οι οποίες είναι συνήθως επαγγελματικές λύσεις ή παιχνίδια.

Συσκευές υλικού για εμπειρίες επαυξημένης, εικονικής και μικτής πραγματικότητας

Όσον αφορά το υλικό, έχουμε πολλές διαφορετικές συσκευές και αντικείμενα που διευκολύνουν τις εικονικές εμπειρίες. Η χρήση τους και ο χειρισμός τους εξαρτώνται από το συγκεκριμένο πλαίσιο στο οποίο υλοποιούνται και χρησιμοποιούνται. Για παράδειγμα, η προσωπική χρήση (όπως η επίσκεψη σε άλλα μέρη μέσω βίντεο 360 μοιρών) προϋποθέτει ένα ορισμένο επίπεδο πολυπλοκότητας. Τα πράγματα γίνονται πιο περίπλοκα αν θέλουμε να βιώσουμε την εμπειρία παιχνιδιών σε ένα εικονικό περιβάλλον, ενώ απαιτείται ένα εντελώς διαφορετικό επίπεδο πολυπλοκότητας κατά τη δημιουργία ενός περιβάλλοντος επαγγελματικής κατάρτισης.

Συσκευές προσαρμοσμένες στο κεφάλι

Σύμφωνα με το Wikipedia, μια «οθόνη προσαρμοσμένη στο κεφάλι είναι μια συσκευή απεικόνισης που φοριέται στο κεφάλι ή ως μέρος ενός κράνους, η οποία έχει μια μικρή οπτική οθόνη μπροστά από το ένα (μονοφθαλμικό) ή καθένα μάτι (διοφθαλμικό). Μια τέτοια συσκευή έχει πολλές χρήσεις όπως στο gaming, την αεροπορία, τη μηχανική και την ιατρική. Τα ακουστικά εικονικής πραγματικότητας είναι συσκευές προσαρμοσμένες στο κεφάλι μαζί με αδρανειακές συσκευές. Υπάρχει επίσης μια οπτική οθόνη προσαρμοσμένη στο κεφάλι, η οποία είναι μια φορητή οθόνη που μπορεί να αντανακλά τις προβαλλόμενες εικόνες και να επιτρέπει στον χρήστη να βλέπει μέσα από αυτή.»

Υπάρχουν δύο τύποι συσκευής προσαρμοσμένης στο κεφάλι υπό την έννοια της χρηστικότητας τους:

• Η κινητή συσκευή που δεν χρειάζεται σύνδεση με άλλη συσκευή
  Παραδείγματα αποτελούν οι Oculus Go/Quest και Google Daydream

• Η συνδεδεμένη συσκευή που απαιτεί σύνδεση σε έναν προσωπικό υπολογιστή ή κονσόλα βιντεοπαιχνιδιών
  Παραδείγματα αποτελούν οι Oculus Rift S και HTC Vive

Οθόνες από χαρτόνι

Μια οθόνη από χαρτόνι επιτρέπει στον χρήστη να βιώνει την εικονική πραγματικότητα σε μια οικονομική και προσβάσιμη μορφή με τη χρήση εφαρμογών smartphone και εικονικής πραγματικότητας.

Παράδειγμα αυτού αποτελεί το Google Cardboard

Γυαλιά επαυξημένης πραγματικότητας

Στην ουσία, πρόκειται για τα γυαλιά που έχουν την ιδιότητα και τη λειτουργικότητα να επιτρέπουν στους χρήστες να βιώνουν τη βελτιωμένη πραγματικότητα. Υπάρχουν σε πολλές μορφές και με διαφορετικά επίπεδα χρήσης (οι διαφορές τους συνίστανται κυρίως στην επεξεργαστική δυνατότητα, τα χαρακτηριστικά γραφικών και την τιμή).

Παραδείγματα αποτελούν τα Google Glass Enterprise και Vuzix Blade Smart Glasses.

Συσκευές μικτής πραγματικότητας

Οι συσκευές μικτής πραγματικότητας επιτρέπουν μια εμβυθιστική εμπειρία όπου συνδυάζονται ο πραγματικός με τον εικονικό (ψηφιακό) κόσμο. Ο χρήστης μπορεί να αλληλεπιδρά στον πραγματικό κόσμο με εικονικά αντικείμενα σαν να ήταν πραγματικά, και μπορεί να τα αγγίξει, να τα αλλάξει μέγεθος και πολλά άλλα.

Παραδείγματα αποτελούν τα Microsoft HoloLens 2, Magic Leap ONE και NReal.

Οθόνη ορθής διόπτευσης (heads-up display)

Μια οθόνη ορθής διόπτευσης είναι ουσιαστικά μια διαφανής οθόνη με προβολή ψηφιακών πληροφοριών που ενισχύει τις οπτικές πληροφορίες στον αναλογικό κόσμο.

Αφή

Σε μια οθόνη εικονικής/επαυξημένης πραγματικότητας, η αφή ανεβάζει τον πήχη της εμπειρίας σε ένα άλλο επίπεδο εμβύθισης. Εκτός από τον ήχο και την όραση, η αφή σάς επιτρέπει να νιώθετε και να αγγίζετε. Παραδείγματα συσκευών αφής είναι τα ψηφιακά γάντια ή καθίσματα και οι πλατφόρμες κίνησης ενσωματωμένες σε λύσεις εικονικής/επαυξημένης πραγματικότητας.

Δημιουργία εικονικών εμπειριών

Για να βιώσουμε άλλους κόσμους και να αλληλεπιδράσουμε με αυτούς τους κόσμους, χρειαζόμαστε την πλατφόρμα υλικού (όπως συζητήθηκε στην προηγούμενη ενότητα) σε συνδυασμό με μια πλατφόρμα λογισμικού. Το λογισμικό είναι αυτό που καθορίζει τις αλληλεπιδράσεις και τις εμπειρίες σε κόσμους αλληλοεπικαλυπτόμενους με τους δικούς μας ή σε κόσμους όπου αποσυνδεόμαστε από την πραγματικότητά μας και βυθιζόμαστε σε νέες ψηφιακές πραγματικότητες.

Αλληλεπίδραση ανθρώπου-μηχανής

Μια γρήγορη ματιά στην εξέλιξη της διεπαφής ανθρώπου-μηχανής είναι σημαντική διότι μας βοηθά να καταλάβουμε πώς οι άνθρωποι έχουν αναπτύξει την αλληλεπίδρασή τους με τον ψηφιακό κόσμο. Σύμφωνα με τους Robert Scoble και Shel Israel στο βιβλίο τους «The 4th transformation: how AR and AI change everything (Ο 4ος μετασχηματισμός: πώς η επαυξημένη πραγματικότητα και η τεχνητή νοημοσύνη αλλάζουν τα πάντα», υπάρχουν τέσσερα σημεία σταθμοί σε αυτή την εξέλιξη:

1. Δακτυλογράφηση (κείμενο)

2. Κατάδειξη και επιλογή (ποντίκι)

3. Άγγιγμα (smartphone – η σημερινή κυρίαρχη μορφή)

4. Φυσική αλληλεπίδραση (γυαλιά μικτής πραγματικότητας – το μέλλον της αλληλεπίδρασης;)

Αυτό μας οδηγεί να εξετάσουμε το ενδεχόμενο ότι ο εγκέφαλός μας λειτουργεί και αλληλεπιδρά σε τρεις διαστάσεις – αυτός είναι ο φυσικός τρόπος αλληλεπίδρασής μας με τον κόσμο γύρω. Στην πραγματικότητα δεν είμαστε καταναλωτές δισδιάστατων οθονών, απλά το συνηθίσαμε. Τώρα που έχουμε τη δυνατότητα να αλληλεπιδράσουμε σε τρεις διαστάσεις, επιστρέφουμε στις ρίζες της φυσικής αλληλεπίδρασης – ακόμα και αν σε αυτό το συγκεκριμένο πλαίσιο, η αλληλεπίδραση είναι ψηφιακή.

Χωρικός υπολογισμός (spatial computing)

Σύμφωνα με τον Simon Greenwold (2003), ο χωρικός υπολογισμός είναι «η ανθρώπινη αλληλεπίδραση με μια μηχανή στην οποία η μηχανή διατηρεί και χειρίζεται αναφορές σε πραγματικά αντικείμενα και χώρους». Ο χωρικός υπολογισμός είναι το κρίσιμο βήμα μετάβασης από τις δισδιάστατες στις τρισδιάστατες αλληλεπιδράσεις. Ο Shashi Shekhar και η Pamela Vold στο βιβλίο Spatial Computing (MIT Press, 2019) τον ορίζουν ως «...ένα σύνολο ιδεών και τεχνολογιών που μεταμορφώνουν τη ζωή μας μέσω της κατανόησης του φυσικού κόσμου, της επίγνωσης και της γνωστοποίησης της σχέσης μας με μέρη αυτού του κόσμου και της πλοήγησης μέσα από αυτά τα μέρη.»

Όταν μιλάμε για εκτεταμένη πραγματικότητα, εννοούμε ότι το σύστημα έχει την έννοια του χώρου που το περιβάλλει. Βασικά, το σύστημα χρησιμοποιεί τον χώρο γύρω από το χρήστη ως καμβά για να συνδεθεί με τον χρήστη. Στην ουσία, το σύστημα αξιοποιεί τις αλληλεπιδράσεις του χρήστη (όπως κινήσεις σώματος, χειρονομίες ή άλλες πηγές δεδομένων) ως ερεθίσματα για ψηφιακές αλληλεπιδράσεις σε συνδυασμό με τον φυσικό χώρο. Ο χωρικός υπολογισμός επιτρέπει τον συνδυασμό του πραγματικού κόσμου με τον ψηφιακό. Μπορεί επίσης να θεωρηθεί ως το πλαίσιο του λογισμικού και του υλικού που υποστηρίζει τις εμπειρίες εκτεταμένης πραγματικότητας.

Σήμερα ο χωρικός υπολογισμός έχει σημειώσει μεγάλη πρόοδο και έχει δημιουργήσει νέες λειτουργικότητες και δυνατότητες στο σύμπαν της εκτεταμένης πραγματικότητας μέσω της εξέλιξης των τρισδιάστατων τεχνικών απεικόνισης και των ακουστικών επαυξημένης/εικονικής πραγματικότητας (ή υβριδικού εξοπλισμού που συνδυάζει και τις δύο), γυαλιών επαυξημένης πραγματικότητας και του εξοπλισμού αφής που κάνουν την αλληλεπίδρασή μας με αυτές τις νέες πραγματικότητες φυσικότερη και αυθεντικότερη.

Εξαρτήσεις συσκευών και πλατφόρμας

Ένα άλλο σημαντικό θέμα είναι το τι είδους εικονική/επαυξημένη πραγματικότητα θα δημιουργήσουμε και ποια πλατφόρμα και συσκευές στοχεύουμε με το προϊόν μας. Όλα αυτά είναι καθοριστικής σημασίας όταν αποφασίζουμε τι θα χρειαστούμε για να δημιουργήσουμε το καλύτερο δυνατό προϊόν (εμπειρία).

Η όλη διαδικασία είναι περίπλοκη και απαιτεί διαφορετικές δεξιότητες και ικανότητες και περιλαμβάνει διαφορετικούς τομείς ειδίκευσης. Μιλάμε για διεπιστημονικές ομάδες που συνεργάζονται μέσα από συνεργατικές διαδικασίες που υποστηρίζονται από ειδικούς με διαφορετικούς τομείς τεχνολογικών γνώσεων.

Ακολουθεί μια σύνοψη ορισμένων εργαλείων και πλατφορμών λογισμικού που χρησιμοποιούνται για την ανάπτυξη έργων εικονικής και επαυξημένης πραγματικότητας:

• Τρισδιάστατη μοντελοποίηση/σάρωση: Blender, 3ds Max, MODO, Maya, SketchUP

• Ανάπτυξη πλατφόρμας εικονικής και επαυξημένης πραγματικότητας: Unity, Unreal, Amazon Sumerian

• Κιτ /πλαίσια ανάπτυξης λογισμικού: ARKit, Cardboard SDK, Oculus SDK, Windows Mixed Reality, ARCore, React 360, WikiTude, OpenVR, Vuforia, VRTK

• Διαδικτυακό περιβάλλον: AFrame, Web XR API, AR.js