Περιγραφή Έργου

Ο σημαντικός ρυθμός εξέλιξης της τεχνολογίας τα τελευταία  χρόνια, έχει αλλάξει τον κόσμο και την πραγματικότητα που ζει ο άνθρωπος, όσο ποτέ άλλοτε στην ιστορία της ανθρωπότητας. Τα αμέσως επόμενα χρόνια, η Τεχνητή Νοημοσύνη, το διαδίκτυο των πραγμάτων, η Εικονική (Virtual Reality-VR), η Μεικτή (Mixed Reality – MR) και η Επαυξημένη Πραγματικότητα  (Augmented Reality-AR) αποτελούν τις μεγάλες προκλήσεις που αναμένεται να είναι οι μοχλοί της επόμενης φάσης (4^ης) της τεχνολογικής επανάστασης, κατά την οποία ότι έχει φυσική ή λογική ή μηχανική υπόσταση θα είναι διασυνδεδεμένο, θα έχει πρόσθετη ή ικανή ευφυία και μια νέα ή/και διευρυμένη αντίληψη για την πραγματικότητα.

Σε αυτό το ιδιαίτερα δυναμικό τεχνολογικό περιβάλλον, το προτεινόμενο έργο έχει ως σκοπό  την έρευνα και την ανάπτυξη ενός καινοτόμου προϊόντος λογισμικού που θα παρέχει υπηρεσίες αποτύπωσης και διαχείρισης του επαυξημένου χώρου όπως και των ψηφιακών αντικειμένων περιεχόμενου  που τοποθετούνται μέσα σε αυτόν,  προκειμένου αυτό να μπορεί να αξιοποιηθεί πολλαπλώς από επαγγελματίες αλλά και από και ερασιτέχνες στον τομέα της δημιουργικής βιομηχανίας.

Το AR αποτελεί μια τεχνολογία που έχει κάνει την πρώτη εμφάνιση της εδώ και αρκετά χρόνια (>25) σχεδόν παράλληλα με την τεχνολογία της Εικονικής Πραγματικότητας.

Αν ήθελε κανείς να αποδώσει τον ακριβή ορισμό της τεχνολογίας AR, με βάση τα σημερινά δεδομένα, θα έλεγε ότι η AR είναι η μεγέθυνση και η διεύρυνση της ανθρώπινης αντίληψης για την πραγματικότητα με πληροφορίες που παράγονται από υπολογιστές όπου ένα τεχνητό επίπεδο προστίθεται στο φυσικό περιβάλλον και το οποίο παρέχει δεδομένα και άλλα πολυμορφικά πληροφοριακά αντικείμενα σε πραγματικό χρόνο που έχουν τα ακόλουθα χαρακτηριστικά:

- Σχετίζονται με τον υποκείμενο πραγματικό κόσμο. Η πραγματικότητα γίνεται έτσι επαυξημένη και δεν υποκαθίσταται – διαφορετικά θα μιλάγαμε για εικονική πραγματικότητα

- Δεν μπορούν να γίνουν αντιληπτά με τα φυσικά αισθητήρια όργανα του ανθρώπου

- Αντιστοιχούν ακριβώς στον τόπο που βρίσκεται ο χρήστης

- Είναι ‘ευαίσθητα’ και προσαρμόζονται σύμφωνα με το περιβάλλον (context-sensitive) : Οι πληροφορίες εντοπίζονται και επιλέγονται σύμφωνα με τον σκοπό αυτού που χρησιμοποιεί την τεχνολογία. Ο    χρήστης βλέπει μόνο ότι χρειάζεται ή ότι επιλέγει κάθε στιγμή ανάλογα με τα ενδιαφέροντά του στο συγκεκριμένο σημείο.

- Είναι εν δυνάμει διαδραστικά. Ο χρήστης μπορεί να χειριστεί και να αλληλεπιδράσει με τα δεδομένα και με τα πληροφοριακά αντικείμενα ανάλογα με τις ανάγκες του

- Μπορούν να προσφερθούν στο χρήστη είτε με οπτικοποιημένο είτε και με ακουστικό τρόπο

Πλέον σήμερα εκτός από την επαυξημένη πραγματικότητα μιλάμε και για την μεικτή πραγματικότητα (Mixed Reality – MR) που αποτελεί μια σύνθεση της εικονικής, της επαυξημένης και της φυσικής πραγματικότητας

Όλα τα προηγούμενα 30 χρόνια μέχρι το 2013-2014, μολονότι υπήρχαν εντυπωσιακά αναπτύγματα και εφαρμογές λογισμικού με τη χρήση αυτών των τεχνολογιών, αυτά ήταν αποσπασματικά και μεμονωμένα και δεν κατέστη δυνατό να αξιοποιηθεί ευρέως η τεχνολογία αυτή σε βαθμό που θα μπορούσε να δημιουργήσει συνθήκες εκτεταμένης εμπορικής επιτυχίας και προσέλκυση σημαντικών επενδύσεων. Τα τελευταία όμως 2-3 χρόνια λόγω της πολύ σημαντικής εξέλιξης των τεχνολογιών που εμπεριέχονται στις  φορητές συσκευές και ειδικά σε ότι αφορά τη δυνατότητά τους α) να διαθέτουν πολύ μεγάλη υπολογιστική ισχύ που έχει καταφέρει να συμπυκνωθεί σε πολύ μικρό χώρο, β) να μπορούν να προσλαμβάνουν και να επεξεργάζονται με πολύ μεγάλη ταχύτητα σε πραγματικό χρόνο ένα τεράστιο όγκο οπτικών και άλλων αισθητηριακών δεδομένων που προέρχονται από προηγμένους σένσορες και με χρήση μεθόδων τεχνητής νοημοσύνης και deep learning γ) να αξιοποιούν τις πολύ μεγάλες πλέον ταχύτητες των ευρυζωνικών δικτύων (wifi, 4G & 5G), η AR τεχνολογία αποκτά άλλη πλέον δυναμική και αποτελεί μια από τις πιο σημαντικές προκλήσεις για την εφαρμοσμένη έρευνα στις ΤΠΕ. Τα διαδραστικά χωρικά περιβάλλοντα και η πρόσβαση σε χώρους AR  & ΜR μέσα από διάφορους τύπους φορητών ή ‘φορετών’ ψηφιακών υπολογιστικών συσκευών αποτελούν μια περιοχή βιομηχανικής έρευνας και ανάπτυξης που βρίσκεται στο επίκεντρο των επενδύσεων από τους μεγάλους κατασκευαστές τεχνολογιών πληροφορικής και επικοινωνιών (Google, Microsoft, Apple, Facebook, Nvidia, Intel, Samsung κλπ).

Σε αυτές τις συνθήκες που διαμορφώνεται σήμερα το τεχνολογικό τοπίο, οι μεγάλες προκλήσεις που έχει να αντιμετωπίσει η τεχνολογία AR – MR τα αμέσως επόμενα χρόνια είναι :

• Ο εξοπλισμός AR (AR Hardware): αν και έχουν παρουσιαστεί ή ανακοινωθεί τα 2 τελευταία χρόνια διάφορες φορητές συσκευές που φιλοδοξούν να λειτουργήσουν ως καταλύτες για τη ραγδαία εξάπλωση της τεχνολογίας αυτής (Microsoft, Apple, Google, Samsung, HTC, Metavision, ODG κλπ) η πιο μαζική συσκευή παραμένει μια εξελιγμένη εκδοχή του έξυπνου κινητού τηλεφώνου που διαθέτει ευφυία και ικανότητα αντίληψης και καταγραφής του τρισδιάστατου χώρου (Phablet 2 της Lenovo-Google και ανακοίνωση της Apple για το iPhone 8), δυνατότητα να αντιλαμβάνεται και να καταλαβαίνει την θέση της και τον προσανατολισμό μέσα στο περιβάλλον που βρίσκεται, στοιχεία που επιτρέπουν όχι μόνο την τοποθέτηση εικονικών ψηφιακών αντικειμένων σε ακριβείς θέσεις στον πραγματικό χώρο αλλά και τη δυνατότητα των αντικειμένων αυτών να αλληλεπιδρούν με το πραγματικό περιβάλλον.
• Η εκπαίδευση των καταναλωτών στην AR τεχνολογία. Η πιο δύσκολη ίσως πρόκληση για την AR τεχνολογία είναι η εκπαίδευση της ευρύτερης αγοράς ως προς τις δυνατότητες και τα απτά οφέλη της τεχνολογίας. Ένας προφανής επιταχυντής της τεχνολογίας AR τον τελευταίο χρόνο ήταν η εφαρμογή Pokemon-Go, που διαδόθηκε αστραπιαία σε όλο τον πλανήτη. Σημαντικό είναι να δημιουργείται μια σταθερή ροή στην ανάδειξη και στη συμμετοχή νέων ταλέντων στην κοινότητα που ασχολείται με το AR/VR, που προέρχονται από διάφορους τομείς που θα μπορούσαν να αξιοποιήσουν ώστε να συνεχίσει να καινοτομεί και να αναπτύσσει περαιτέρω την τεχνολογία αυτή. Αξιοσημείωτη είναι η προσπάθεια του Γαλλικού κράτους το οποίο το 2015 ανακοίνωσε ένα ανανεωμένο πρόγραμμα σπουδών για τους σπουδαστές που εμπλέκει την τεχνολογία AR στις σπουδές τους και αναγνωρίζει ότι η διδασκαλία και η ενημέρωση περί των αναδυομένων τεχνολογιών σε όλες τις βαθμίδες της εκπαίδευσης παρέχει στους μαθητές όλα τα κλειδιά για την κατανόηση του σύγχρονου τεχνολογικού και πολιτισμικού γίγνεσθαι και αποτελεί το έναυσμα για δημιουργία.
• To AR περιεχόμενο, αποτελεί τη σημαντικότερη ίσως πρόκληση. Για να είναι ώριμη η όποια εκδοχή του εξοπλισμού AR να σταθεί στην αγορά θα πρέπει να υπάρχουν αντίστοιχες εφαρμογές και κυρίως περιεχόμενο που θα δικαιολογεί την αναγκαιότητά τους και προφανώς θα ενισχύει την εμπειρία του χρήστη. Δεν θα υπήρχε λόγος για να αγοράσει κανείς ένα έξυπνο κινητό τηλέφωνο πριν λίγα χρόνια αν οι μεγάλοι κατασκευαστές δεν είχαν ενθαρρύνει τους προγραμματιστές εφαρμογών και τους δημιουργούς περιεχομένου να φτιάξουν χιλιάδες προϊόντα και υπηρεσίες με στόχο τα έξυπνα κινητά τηλέφωνα. Το ίδιο κάνουν και τώρα. Χρειάζονται ειδικά προσαρμοσμένο AR περιεχόμενο και χρηστικές εφαρμογές. Αντίστοιχα και αυτοί που θέλουν να χρησιμοποιήσουν και να αξιοποιήσουν την τεχνολογία AR χρειάζονται περιεχόμενο και ειδικά 3διάστατο κάτι που προφανώς προϋποθέτει επενδύσεις από την πλευρά τους, καθώς και πρόσθετες ενδεχόμενες δαπάνες για να αντιμετωπίσουν πιθανές παρενέργειες που μπορεί να δημιουργηθούν.

 

Το προτεινόμενο έργο έρχεται να απαντήσει δυναμικά σε αυτή την τελευταία πρόκληση αφού έχει ως σκοπό του την  υλοποίηση μιας καινοτόμου ψηφιακής πλατφόρμας μέσω της οποίας θα παρέχονται προηγμένες υπηρεσίες διαχείρισης πολυμορφικού ψηφιακού περιεχομένου που θα εμπεριέχεται και θα παρουσιάζεται σε χώρους επαυξημένης και μεικτής πραγματικότητας από τους χρήστες που το δημιουργούν.

 

Μέσω του που θα σχεδιαστεί στο πλαίσιο του παρόντος έργου θα παρέχεται στους χρήστες, όπως μεταξύ άλλων οι επαγγελματίες του χώρου της δημιουργικής βιομηχανίας, η δυνατότητα να δημιουργήσουν και να ενθέσουν περιεχόμενο σε έναν χώρο και παράλληλα η δυνατότητα να μπορούν να το δουν μέσα από μια εφαρμογή AR – MR τοποθετημένο σε μια σχετική θέση ως προς τη θέση που βρίσκονται ή σε μια απόλυτα ακριβή γεωχωροθετημένη θέση. Η ομάδα του προτεινόμενου έργου ήδη έχει προχωρήσει κατά το παρελθόν σε χρήση της τεχνολογίας και των αλγορίθμων και τεχνικών που εφαρμόζονται σε περιβάλλοντα επαυξημένης και μεικτής πραγματικότητας.

Το προτεινόμενο έργο είναι εξ ορισμού καινοτόμο στο σύνολό του αφού αντίστοιχα περιβάλλοντα διαχείρισης περιεχομένου για χώρους AR-MR δεν καλύπτουν το σύνολο των λειτουργιών που επιδιώκει να καλύψει το παρόν έργο, ενώ από την άλλη δεν λειτουργούν υπό το πρίσμα χρήσης κοινών προτύπων κωδικοποίησης της πληροφορίας και του χώρου, αφού έχουν γίνει αποκλειστικά για να εξυπηρετήσουν συγκεκριμένες hardware πλατφόρμες και μέσα πρόσβασης στα πρώτα στάδια της εξάπλωσης της τεχνολογίας AR-MR.  Το έργο είναι ταυτόχρονα και στοχευμένα καινοτόμο αφού θα αντιμετωπίσει και βασικά ανοικτά ερευνητικά ζητήματα στο χώρο των διαδραστικών περιβαλλόντων AR – MR – VR και της αποδοτικής διαχείρισης περιεχόμενου AR που δημιουργείται απ’ τους χρήστες των συστημάτων. Στο υπόλοιπο τμήμα της παρούσας παραγράφου παρουσιάζεται  μια σύντομη επισκόπηση των ανοικτών θεμάτων της σύγχρονης εφαρμοσμένης έρευνας στην τεχνολογία AR-MR.

 

Α. Ακριβής εντοπισμός θέσης και προσανατολισμού χρήστη σε κλειστούς και ανοικτούς χώρους σε πραγματικό χρόνο:

Ο ακριβής εντοπισμός (tracking) παίζει πολύ σημαντικό ρόλο στην ποιότητα και την απόδοση μιας εφαρμογής AR (πολύ περισσότερο δε αν αυτή απευθύνεται σε επαγγελματίες) καθώς υποστηρίζει τον ακριβή εντοπισμό και τον προσανατολισμό του χρήστη και της συσκευής του και συγχρόνως αποτελεί προϋπόθεση της ενσωμάτωση ενός αντικειμένου AR στον πραγματικό κόσμο.

Τα θέματα που θα διερευνηθούν αφορούν στην βελτίωση και προσαρμογή αλγορίθμων που καλύπτουν: α) τον ακριβή και συνεχή εντοπισμός της θέσης και του προσανατολισμού του χρήστη για την ακριβέστερη αποτύπωση σε AR του υπό εξέταση αντικείμενου και χώρου και β) τη χρήση υβριδικής προσέγγισης εντοπισμού μέσω αισθητήρων και τεχνικών υπολογιστικής όρασης για την επίτευξη του ορθού εντοπισμού της θέσης και του προσανατολισμού τόσο σε εξωτερικούς αλλά κυρίως σε εσωτερικούς χώρους.

Επισκόπηση ερευνητικού πεδίου: Οι τεχνολογίες εντοπισμού κατηγοριοποιούνται σε 3 ομάδες 1) εντοπισμός με χρήση αισθητήρων 2) Εντοπισμός με χρήση τεχνικών υπολογιστικής όρασης 3) εντοπισμός βάσει υβριδικών προσεγγίσεων.

Ο εντοπισμός με χρήση αισθητήτων διακρίνεται σε οπτικό, ακουστικό, μαγνητικό και αδρανειακό εντοπισμό όπως και σε συνδυαστικές προσεγγίσεις αυτών των μορφών. Κάθε προσέγγιση έχει  πλεονεκτήματα και μειονεκτήματα. Ενδεικτικά αναφέρεται ότι ο ακουστικός και οπτικός εντοπισμός επηρεάζεται αρνητικά απ’ το περιβάλλον, ο μαγνητικός εντοπισμός δεν έχει καλή ακρίβεια ενώ ο αδρανειακός εντοπισμός εξαρτάται απόλυτα απ’ τους αισθητήρες που φέρει η συσκευή και δεν έχει ομοιογενή και μετρήσιμα με ακρίβεια αποτελέσματα στις διάφορες πλατφόρμες υλικού.

Ο εντοπισμός με χρήση τεχνικών υπολογιστικής όρασης καθορίζεται απ’ τη συσκευή με τη χρήση της κάμερας, άλλων οπτικών αισθητήρων (π.χ. υπεριώδεις ακτίνες) κ.α. Σε συνδυασμό με τους αισθητήρες αξιοποιείται λογισμικό ανάλυσης εικόνας το οποιό καθορίζει τα αντικείμενα που πρόκειται να επαυξηθούν. Οι πιο πρόσφατες προσεγγίσεις ακολουθούν μια προσέγγιση markeless που αναλύουν την εικόνα χωρίς τη χρήση βασικών σημείων (fiducial points) και επαυξάνουν συγκεκριμένα αντικείμενα αξιοποιώντας αλγόριθμους εντοπισμού των βασικών χαρακτηριστικών των αντικειμένων αυτών. Η ενσωμάτωση του 3διάστατου μοντέλου στην 2διάστατη πραγματική εικόνα πρέπει να γίνεται σε πραγματικό χρόνο και με την αξιοποίηση γρήγορων αλγορίθμων 3διάστατης μοντελοποίησης χώρου, ανίχνευσης βασικού αντικείμενου και παραγωγής των 3διάστατων αντιστοίχων τους. Οι αλγόριθμοι που χρησιμοποιούνται είναι είτε κλασικοί αλγόριθμοι κατακερματισμού, είτε αλγόριθμοι πλήρους 3διάστατης αποτύπωσης χώρου. Για παράδειγμα η τεχνική SLAM (Simoultaneous Localization And Mapping)  προοδευτικά κατασκευάζει μια 3διάστατη μοντελοποίηση ενός χώρου ενώ ταυτόχρονα εντοπίζει τη θέση του χρήση μέσα σε αυτόν επιτρέποντας την τοποθέτηση αντικειμένων προς επαύξηση. Η SLAM τεχνική έχει ως προαπαιτούμενο το ότι η σκηνή προς μοντελοποίηση πρέπει να παραμείνει αμετάβλητη,  τόσο για την αποτύπωση του χώρου σε 3D όσο και για την αναγνώριση του στο μέλλον.

Οι υβριδικές τεχνικές εντοπισμού αξιοποιούν δεδομένα από πολλαπλούς αισθητήρες και ειδικούς αλγορίθμους υπολογιστικής όρασης άροντας τα μειονεκτήματα των παραπάνω προσεγγίσεων και παρέχοντας βελτιωμένο εντοπισμό σε εξωτερικούς και εσωτερτικούς χώρους.

Β. Διαχείριση Περιεχομένου AR

Η υλοποίηση υπηρεσιών διαχείρισης και διαμοιρασμού AR περιεχόμενου που έχουν ως αποδέκτες επαγγελματίες από το χώρο της δημιουργικής βιομηχανίας, προϋποθέτει υψηλή ποιότητα και ακρίβεια.

Τα θέματα που θα διερευνηθούν αφορούν στην βελτίωση και προσαρμογή αλγορίθμων που καλύπτουν: α) Διαχείριση, Αναζήτηση / Ευρετηρίαση μεγάλου όγκου πολυμεσικού περιεχομένου με την αξιοποίηση ετερογενών πηγών και αλγορίθμων νέφους για big data and data streaming management και πλατφορμών ανοιχτού κώδικα για cloud data management, β) προσωποποίηση των υπηρεσιών διαχείρισης περιεχομένου (profiling and personalization techniques) και προσαρμοστικότητας του περιεχομένου (adaptive content) AR σύμφωνα με το προφίλ του χρήστη

Επισκόπηση ερευνητικού πεδίου: Οι υπάρχουσες εφαρμογές AR έχουν σημαντικούς περιορισμούς κατά τη διαδικασία πρόσθεσης νέου περιεχομένου και διαχείρισης αυτού. Στις υπάρχουσες πλατφόρμες (Wikitude, Layar, Augment, κ.α.) η τοποθέτηση επαυξημένου περιεχομένου γίνεται μόνο μέσω της αναγνώρισης μοναδικού οπτικού σημείου στο χώρο (marker). Χωρίς την ύπαρξη τέτοιου σημείου, η προσθήκη νέου περιεχομένου γίνεται προγραμματιστικά και πραγματοποιείται με τη χρήση συγκεκριμένων παρεχόμενων back end εργαλείων που απαιτούν γνώσεις και εμπειρία προγραμματισμού. Είναι προφανές ότι οι εν λόγω περιορισμοί κλειδώνουν τη δυναμική αγοράς και το φάσμα των χρηστών που μπορεί να αξιοποιεί τέτοια συστήματα. Για ένα σύστημα AR για κινητές συσκευές θεωρείται απολύτως απαραίτητο πλέον, οι  χρήστες, όπως οι επαγγελματίες του χώρου της δημιουργικής βιομηχανίας, να μπορούν να δημιουργούν και να προσθέτουν το δικό τους AR περιεχόμενο με την ελάχιστη τεχνική γνώση και προσπάθεια.

Στο πλαίσιο αυτό το προτεινόμενο έργο καινοτομεί καθώς έχει ως στόχο παρέχει ένα πλήρες σύστημα δημιουργίας και διαχείρισης αντικειμένων AR αλλά και πρόσβασης των εφαρμογών σε πολλαπλές πηγές πληροφορίας. Προς την κατεύθυνση αυτή το έργο θα μελετήσει και θα διερευνήσει περαιτέρω θέματα που περιέχονται στην ερευνητική περιοχή που οριοθετούν οι Schmalstieg et al [19] που εισάγουν την έννοια του Κοινωνικού AR (Social AR), κατά την οποία οι κοινοί χρήστες του συστήματος μπορούν άμεσα να δημιουργήσουν το δικό τους AR περιεχόμενο, να το διαχειριστούν ή / και να το διαμοιράσουν (AR objects sharing). Επίσης, οι Langlotz et al [10], περιγράφουν ένα σύστημα, για την πραγματικού χρόνου, μόνο μέσω της κινητής συσκευής, δημιουργία και διαμοιρασμό AR περιεχομένου απ’ το χρήστη. Μέσω της αξιοποίησης του συστήματος οι τελικοί χρήστες έχουν τη δυνατότητα να δημιουργήσουν 2Διάστατο και 3Διάστατο περιεχόμενο σε μια κινητή συσκευή και να το δημοσιεύσουν σε προσωπικές ψηφιακές βιβλιοθήκες σε έναν απομακρυσμένο εξυπηρετητή που υποστηρίζει τη γλώσσα Augmented Reality Markup Language (ARML). Οι χρήστες κατόπιν έχουν τη δυνατότητα να διαμοιραστούν το περιεχόμενο με άλλους χρήστες ή να επανα-χρησιμοποιήσουν το περιεχόμενό τους σε φυσικές τοποθεσίες. Το προτεινόμενο έργο θα αναλύσει, θα αξιοποιήσει την υπάρχουσα εμπειρία και θα υλοποιήσει νέες σύγχρονες λύσεις στο συγκεκριμένο ανοιχτό ερευνητικό ζήτημα. Το προτεινόμενο έργο θα επιλύσει το θέμα αξιοποιώντας τεχνολογίες και αξιώματα ανοικτών συνδεδεμένων δεδομένων (Linked Open Data - LOD) [4]. Τα αξιώματα των LOD προωθούν τη χρήση των URIs ως μοναδικά ονόματα για όλες τις μονάδες περιερχομένου όπως είναι και τα POIs. Το προτεινόμενο έργο στα πλαίσια αυτά θα αναλύσει και θα αναπτύξει αλγόριθμούς αναζήτησης / ευρετηρίασης μεγάλου όγκου δεδομένων με στόχο την αξιοποίηση των ετερογενών πηγών κατά τη λειτουργία της εφαρμογής AR για κινητές συσκευές. Τέλος, παρόλο που οι υφιστάμενες εφαρμογές AR λαμβάνουν υπόψη τη γεωγραφική θέση και το προσανατολισμό του χρήστη θα έπρεπε να μπορούν να προσφέρουν στους χρήστες μια πιο προσωποποιημένη εμπειρία αξιοποιώντας και άλλες διαστάσεις άντλησης σημασιολογικού περιεχομένου, όπως είναι οι τάσεις του χρήστη βάσει του προφίλ και του ιστορικού της συμπεριφοράς του ([12], [21]). Επιπρόσθετα, η βελτιστοποίηση του επιπέδου προσωποποίησης κατά την παροχή υπηρεσιών μπορεί τελικώς να υποστηρίξει περισσότερο εφαρμογές κοινωνικού AR και ενέργειες διαμοιρασμού προσωπικού AR περιεχόμενου [22]. Τα εν λόγω θέματα θα αναλυθούν απ’ το προτεινόμενο έργο και θα υλοποιηθούν σχετικές λύσεις που αντιμετωπίζουν το συγκεκριμένο ζήτημα.

Γ. Ευχρηστία – Εμπειρία τελικού χρήστη

Η παροχή και προβολή επαυξημένου περιεχομένου στο χώρο σε πραγματικό χρόνο με δυνατότητες διάδρασης του χρήστη με αυτό, αποτελεί μια διαρκή πρόκληση στο χώρο της τεχνολογίας AR και πηγάζει από την τεχνολογία των ηλεκτρονικών παιγνιδιών

Τα θέματα που θα διερευνηθούν αφορούν στην βελτίωση και προσαρμογή αλγορίθμων που καλύπτουν: Προβολή ψηφιακών αντικειμένων με χρήση αναγνωριστικών (marker-based) ή/και χωρίς αναγνωριστικά (markerless) σε συνδυσαμό με τεχνικές context awareness σε πραγματικό χρόνο για την επίτευξη του AR στο χώρο χωρίς τη χρήση προ-αποθηκευμένων χαρακτηριστικών του χώρου.

Επισκόπηση ερευνητικού πεδίου:  Οι τρέχουσες εφαρμογές απαντούν μόνο στις πιο προφανείς και βασικές προκλήσεις που μπορούν να εντοπιστούν στις κινητές συσκευές. Συνήθως, ο χρήστης μιας κινητής συσκευής μπορεί να λάβει πληροφορίες για περιβάλλοντα αντικείμενα και στοιχεία του χώρου τα οποία μπορεί να βρίσκονται ή όχι στο πεδίο της όρασής του. O Nack [16] σημειώνει ότι οι υφιστάμενες εφαρμογές AR αξιοποιούν για να εξάγουν σημασιολογικό περιεχόμενο (contextualization) κυρίως την τοποθεσία του χρήστη και τον προσανατολισμό, δεδομένου ότι παρέχεται ένα σωστό κανάλι πληροφόρησης. Η ακρίβεια του εντοπισμού της θέσης στις κινητές συσκευές ορίζεται σε ορισμένα μέτρα (10 έως 20 ανάλογα με την τεχνική) ενώ τα μαγνητόμετρα δείχνουν τον προσανατολισμό σ ένα φάσμα 20 μοιρών. Η δεδομένη ακρίβεια μπορεί να οδηγήσει σε προβλήματα κατά τον υπολογισμό του πεδίου όρασης του χρήστη και της συσκευής (πέραν της περίπτωσης που ακολουθούνται τεχνικές υπολογιστικής όρασης) τα οποία έχουν σαν αποτέλεσμα τη μη ορθή ευθυγράμμιση των ψηφιακών αντικειμένων με τα αντίστοιχα φυσικά. Επίσης, όσο και καλής πιστότητας να είναι η κάμερα μιας κινητής συσκευής, το οπτικό πεδίο που παρέχει στο χρήστη είναι μικρότερο της κύριας και περιμετρικής όρασής του. Κατά συνέπεια το μέρος του φυσικού κόσμου που επαυξάνεται είναι μικρότερο απ’ το πραγματικό οπτικό πεδίο του χρήστη. Η χρήση ειδικών VR γυαλιών και άλλων συσκευών βελτιώνει το εν λόγω οπτικό πεδίο αλλά πάλι είναι περιορισμένο.

Μια άλλη δυνατότητα που θα διερευνηθεί ως προς την χρηστικότητα της στο παρόν έργο, ειδικά σε ότι αφορά τους επαγγελματίες και την χρήση της συσκευής για τοποθέτηση ψηφιακών αντικειμένων in situ στο φυσικό χώρο είναι η χρήση της συσκευής σαν «μαγικός φακός», η εστίαση της συσκευής και η σταθερή επικέντρωσή της σε συγκεκριμένες περιοχές στις οποίες επιτυγχάνεται η επαύξηση της πραγματικότητας. Πολλές φορές ο χρήστης δεν θέλει να σημαδεύει εντελώς μια περιοχή για να επιτύχει την επαύξηση αλλά προτιμά να αλλάζει στάση κατά την αλληλεπίδρασή του με την εφαρμογή. Η εφαρμογή θα μπορεί να παρέχει τη δυνατότητα στιγμιαίου κλειδώματος της οθόνης της συσκευής στην εικόνα στην οποία επιτυγχάνεται η επαύξηση και να διατηρείται για όσο χρόνο επιθυμεί ο χρήστης. Η αναπαράσταση αντικειμένων εκτός οθόνης έχει και αυτή τις σχετικές προκλήσεις κατά την ανάπτυξη των εφαρμογών AR για κινητές συσκευές. Η επαυξημένη επισκόπηση αντικειμένων τα οποία βρίσκονται εκτός οπτικού πεδίου οθόνης (π.χ. δίπλα ή πίσω απ’ το χρήστη) απαιτεί είτε την αλλαγή του προσανατολισμού του χρήστη ή τη χρήση μικρο- χαρτών που παρουσιάζουν τα POIs σε σχετικά κοντινή απόσταση. Η προτεινόμενη λύση που θα διερευνηθεί και θα αξιολογηθεί προς χρήση απ’ το προτεινόμενο έργο είναι του Schinke et al [18] ο οποίος προτείνει τη χρήση βελών ενσωματωμένων στην εφαρμογή AR για να μπορεί ο χρήστης να στοχεύει το συγκεκριμένο POIs χειροκίνητα. Για να βελτιστοποιηθεί η ευχρηστία θα αξιοποιηθούν αλγόριθμοι context awareness που θα υποστηρίζουν την προσαρμογή της εφαρμογής στο υπό εξέταση περιβάλλον και στη συμπεριφορά του χρήστη με στόχο την ελαχιστοποίηση της απαιτούμενης πληροφορίας για την επίτευξη της επαύξησης και τη βέλτιστη απόδοσή της.

Δ. Προωθημένες Διαδραστικές Αφηγήσεις (augmented interactive digital storytelling)

Η δημιουργία προωθημένων διαδραστικών αφηγήσεων (augmented interactive digital storytelling) και ενσωμάτωση στην εφαρμογή AR για κινητές συσκευές, αποτελεί ένα πεδίο που βρίσκεται στο επίκεντρο του ενδιαφέροντος και προϋποθέτει διεπιστημονική προσέγγιση.

Το θέμα στο οποίο θα επικεντρωθεί το παρόν έργο είναι η προβολή διαδραστικών αφηγήσεων σε συνδυασμό με τα AR αντικείμενα για την ενίσχυση της εμπειρίας του χρήστη και του εκπαιδευτκού / ψυχαγωγικού ρόλου της τελικής εφαρμογής.

Επισκόπηση ερευνητικού πεδίου:  Οι διαδραστικές αφηγήσεις σε περιβάλλοντα μεικτής πραγματικότητας συνδυάζουν αναλογική με την επαυξημένη πληροφορία με στόχο την ενίσχυση της εμπειρίας του χρήστη κατά την αλληλεπίδρασή του με μια εφαρμογή AR. Προσθέτουν διαλόγους, ιστορικές γραμμές και σενάρια με τα οποία αλληλεπιδρά ο χρήστης και προσδίδει στη γενική λειτουργία της AR εφαρμογής στοιχεία εμβύθισης (immersiveness). Η χρήση πρόσθετων πολυμέσων όπως ήχων, βίντεο, εικόνων και ειδικής αλληλεπίδρασης είναι κρίσιμη για την επίτευξη της επιθυμητής εμβύθισης του χρήστη κατά τη λειτουργία της τελικής AR εφαρμογής. Υφιστάμενες σχετικές εφαρμογές έχουν υλοποιηθεί απ’ το MIT Media Lab: KidsRoom, It/I, Personal Aerobics Training και το Swambed! οι οποίες βασίζονται σε πολύπλοκες συσκευές αισθητήρων που στοχεύουν στην το δυνατόν καλύτερη εξομοίωση της πραγματικότητας και περιλαμβάνουν χαρακτήρες (avatars) και διαδραστικά περιβάλλοντα. Οι χρήστες στις εφαρμογές αυτές ακολουθούν πιθανές διαθέσιμες διαδρομές, αλληλεπιδρούν και ολοκληρώνουν ένα γραμμικό σενάριο. Η μελέτη της υφιστάμενης κατάστασης αποδεικνύει ότι η χρήση προωθημένων διαδραστικών αφηγήσεων σε AR εφαρμογές έχουν θετικά αποτελέσματα και ενισχύουν την εμπειρία και την αλληλεπίδραση του χρήστη με την εφαρμογή. Το ανοιχτό ζήτημα είναι ποιοι τύποι αλληλεπίδρασης και σενάρια θα πρέπει να προστεθούν στην τελική εφαρμογή ώστε το τελικό αποτέλεσμα να προσθέτει θετικά στοιχεία στην εμπειρία του χρήστη και να μην προσθέτει ανεπιθύμητη επιβάρυνση.

Στο πλαίσιο του προτεινόμενου έργου θα γίνει μελέτη και διερεύνηση χρηστικότητας των διαφόρων τρόπων πολυτροπικής (multimodal) αλληλεπίδρασης, και των μεθόδων και τεχνικών με τις οποίες το σενάριο, η ιστορική γραμμή και το πολυμεσικό υλικό (ήχος, βίντεο, εικόνα κ.α.)  θα ενσωματωθεί στην εφαρμογή AR. Μετά την ενσωμάτωση θα πραγματοποιηθεί εκτεταμένη έρευνα και ανάλυση της χρήσης με τη συμμετοχή ομάδων τελικών χρηστών (κατά βάση φοιτητών και ερευνητών από το Τμήμα Κινηματογράφου) και επαγγελματιών. Βάσει της ανάλυσης θα ποσοτικοποιηθεί η συμπεριφορά των χρηστών για κάθε τύπο αλληλεπίδρασης και θα αξιολογηθεί η συνολική ευχρηστία βάσει ποσοτικών δεικτών. Επίσης, οι ομάδες χρηστών θα κληθούν να αξιολογήσουν ποιοτικά την τελική εφαρμογή και βάσει της αξιολόγησης θα βελτιστοποιηθεί η τελική μορφή του digital story telling που θα ενσωματωθεί στην εφαρμογή AR.