Ανασχεδιασμός της Βιομηχανίας Ψυχαγωγίας με Δυναμική Προβολή Πρόσωπων

Η Επαυξημένη Πραγματικότητα, ή AR, έχει ήδη αποδείξει την επαναστατική της αξία για τη βιομηχανία ψυχαγωγίας. Χρησιμοποιείται σε παιχνίδια, ταινίες, ζωντανές εκδηλώσεις, θεματικά πάρκα, μουσεία και εκθέσεις, θέατρο και παραστάσεις, τηλεόραση, διαφήμιση, κοινωνικά δίκτυα, e‑sports, τουρισμό, μόδα, τέχνη, μουσική και χορό, και ακόμη και κόμικς, γραφικές μυθιστορίες ή μαγικά σόου. 

Μία εκτίμηση της αγοράς υποδηλώνει ότι η αγορά AR & VR για τη βιομηχανία ψυχαγωγίας μπορεί να φτάσει τα US$30 δισεκατομμύρια έως το 2030, αυξάνοντας με CAGR σχεδόν 19 % κατά την προβλεπόμενη περίοδο 2024‑2030.

Η αναφορά εντόπισε πολλούς παράγοντες που οδήγησαν στην ανάπτυξη της AR στην ψυχαγωγία. Για παράδειγμα, η χρήση της AR βοήθησε τους δημιουργούς περιεχομένου να δημιουργήσουν εμβληματικές αφηγήσεις που θολώνουν τα σύνορα μεταξύ πραγματικότητας και φαντασίας, ενθαρρύνοντας το κοινό να γίνει ενεργό μέρος της αφήγησης και ενισχύοντας τη δέσμευση και τη συναισθηματική σύνδεση. Η AR & VR βοήθησε επίσης στην κατασκευή εξατομικευμένων εμπειριών προσαρμοσμένων στις ατομικές προτιμήσεις.

Αξιοποιώντας την ανάλυση δεδομένων σε συνδυασμό με την AR, οι εταιρείες ψυχαγωγίας μπορούν να προσαρμόσουν το περιεχόμενο, τις προτάσεις και ακόμη και τις διαφημίσεις. Ωστόσο, όλα αυτά μπορούν να θεωρηθούν μόνο η κορυφή του παγόβουνου.

Η AR θα μπορούσε να πετύχει πολύ περισσότερα με συγκεκριμένες τεχνολογικές καινοτομίες. Στο επόμενο τμήμα, συζητάμε μια τέτοια επαναστατική καινοτομία που αφορά την τεχνολογία DFPM, Δυναμική Προβολή Πρόσωπου.

DFPM: Τι είναι;

Πρόκειται για μια νέα τεχνική επαυξημένης πραγματικότητας όπου εικόνες προβάλλονται πάνω σε ανθρώπινα πρόσωπα, αλλάζοντας την πραγματική τους εμφάνιση σε πραγματικό χρόνο. Με άλλα λόγια, η μέθοδος περιλαμβάνει την προβολή δυναμικών οπτικών στοιχείων στο πρόσωπο ενός ατόμου σε πραγματικό χρόνο, χρησιμοποιώντας προηγμένη παρακολούθηση προσώπου ώστε οι προβολές να προσαρμόζονται αδιάλειπτα στις κινήσεις και τις εκφράσεις.

Πηγή: Disney Research

Παρόλο που η τεχνολογία διαθέτει τεράστιο δυναμικό και θα μπορούσε να επιφέρει μεγάλα άλματα στην καλλιτεχνική φαντασία, η τεχνική αντιμετωπίζει τεχνικές προκλήσεις. Συνοπτικά, αυτό το πρόβλημα μπορεί να θεωρηθεί ως πρόβλημα «μη ευθυγράμμισης». 

Μια νέα μελέτη δημοσιεύτηκε στο περιοδικό του Ινστιτούτου Ηλεκτρολόγων Μηχανικών και Ηλεκτρονικών Μηχανικών¹ που ασχολείται με το ζήτημα της μη ευθυγράμμισης. Αλλά, πριν εμβαθύνουμε στη λύση, ας δούμε τι ακριβώς είναι το πρόβλημα.

Κάντε κλικ εδώ για να μάθετε για την επένδυση στο μέλλον της εικονικής πραγματικότητας.

Το Ζήτημα της Μη Ευθυγράμμισης στην Εφαρμογή του DFPM

Η προβολή οπτικών στοιχείων σε ένα κινούμενο πρόσωπο απαιτεί το σύστημα DFPM να εντοπίζει τα χαρακτηριστικά του προσώπου του χρήστη, όπως τα μάτια, τη μύτη και το στόμα, σε λιγότερο από ένα χιλιοστό του δευτερολέπτου. Ακόμη και μικρές καθυστερήσεις στην επεξεργασία ή ελάχιστες μη ευθυγραμμίσεις μεταξύ των συντεταγμένων της κάμερας και του προβολέα μπορούν να προκαλέσουν σφάλματα προβολής — ή «ατέλειες μη ευθυγράμμισης». Αυτά είναι ορατά σφάλματα που μπορούν να υποβαθμίσουν την ποιότητα της εμβάπτισης, ακόμη και να την καταστρέψουν.

Μία ομάδα ερευνητών από το Ινστιτούτο Επιστήμης του Τόκιο, Ιαπωνία, ξεκίνησε την αναζήτηση λύσεων στα υπάρχοντα προβλήματα του DFPM. Η ομάδα, υπό την ηγεσία του Αναπληρωτή Καθηγητή Yoshihiro Watanabe, περιλάμβανε επίσης τον μεταπτυχιακό φοιτητή κ. Hao‑Lun Peng. Στη μελέτη τους, πρότειναν έννοιες για τη μείωση των «ατελειών μη ευθυγράμμισης».

Δύο Προτάσεις για τη Μείωση των «Ατελειών Μη Ευθυγράμμισης»

Το άρθρο των δύο ερευνητών του Τόκιο έχει μακρύ τίτλο, όπως συμβαίνει συχνά με τέτοια άρθρα. Ωστόσο, το πρόβλημα που αντιμετωπίζει είναι απλό στην κατανόηση. Όπως αναφέρθηκε νωρίτερα, στοχεύει στη μείωση των ατελειών μη ευθυγράμμισης μεταξύ των προβλεπόμενων εικόνων και των στόχων προσώπων, πρόβλημα που θεωρείται μόνιμη πρόκληση για το DFPM,.

Οι ερευνητές παρουσίασαν δύο προτάσεις για την επίτευξη του στόχου τους. Η πρώτη πρόταση πρότεινε μια μέθοδο υψηλής ταχύτητας παρακολούθησης προσώπου που θα εκμεταλλευόταν χρονικές πληροφορίες. Στην προσέγγισή τους, οι ερευνητές εισήγαγαν ένα πλαίσιο ανίχνευσης προσώπου περιορισμένο σε περικομμένο χώρο, βασισμένο σε ενδιάμεση/εξατομικευμένη παρεμβολή, το οποίο επέτρεπε παράλληλη εκτέλεση με την ανίχνευση σημείων προσώπου.

Στη συνέχεια, πρότειναν μια νέα υβριδική μέθοδο ανίχνευσης σημείων προσώπου που συνδύαζε γρήγορες ανιχνεύσεις βασισμένες σε Ensemble of Regression Trees (ERT) και μια βοηθητική ανίχνευση. Οι ανιχνεύσεις με βάση το ERT παρήγαγαν γρήγορα αποτελέσματα σε 0,107 ms χρησιμοποιώντας χρονικές πληροφορίες, με την υποστήριξη της βοηθητικής ανίχνευσης για αποκατάσταση σφαλμάτων.

Για την εκπαίδευση της μεθόδου ανίχνευσης σημείων προσώπου, οι ερευνητές πρότειναν μια καινοτόμο μέθοδο προσομοίωσης σχολιασμών βίντεο υψηλού ρυθμού καρέ, ώστε να αντιμετωπιστεί η έλλειψη δημόσια διαθέσιμων συνόλων δεδομένων με υψηλό ρυθμό καρέ.

Η δεύτερη πρόταση περιελάμβανε μια διάταξη φακού‑μετατόπισης, συν-αξονική προβολέα‑κάμερας, η οποία θα διατηρούσε υψηλή οπτική ευθυγράμμιση με σφάλμα μόλις 1,274 pixel μεταξύ 1 m και 2 m βάθους, μειώνοντας τη μη ευθυγράμμιση εφαρμόζοντας τα ίδια οπτικά σχέδια στον προβολέα και στην κάμερα χωρίς να προκαλεί μεγάλες αποκλίσεις όπως στις συμβατικές μεθόδους.

Η υλοποίηση αυτών των εννοιών θα μπορούσε να οδηγήσει τους ερευνητές στην ανάπτυξη ενός νέου συστήματος DFPM υψηλής ταχύτητας που θα επιτυγχάνει σχεδόν τέλεια ευθυγράμμιση με την ανθρώπινη οπτική αντίληψη.

Κάντε κλικ εδώ για μια λίστα εταιρειών που επαναπροσδιορίζουν το όριο AR/VR.

Τα Επιτεύγματα Συνοψισμένα

Αν μετατοπίσουμε την προσοχή μας από τις εξαιρετικά τεχνολογικές πτυχές της έρευνας προς το τι μπορεί να επιτύχει από άποψη εφαρμογών, τα ευρήματα είναι τα εξής:

Η προτεινόμενη διάταξη θα μπορούσε να οδηγήσει σε εξαιρετικά υψηλή οπτική ευθυγράμμιση με σφάλμα μικρότερο από 1,3 pixel σε βάθος 1‑2 m. Η διάταξη προσέφερε ταχύτερη επεξεργασία και υψηλή ακρίβεια σε δυναμικά σενάρια.

Επιπλέον, κατά τη διάρκεια της διαδικασίας, οι ερευνητές ανέπτυξαν μια μέθοδο προσομοίωσης σχολιασμών βίντεο υψηλής ταχύτητας για την εκπαίδευση των μοντέλων.

Συνολικά, τα αποτελέσματα θα βοηθήσουν στην κατασκευή πιο εντυπωσιακών και υπερ-ρεαλιστικών εφέ για ζωντανές παραστάσεις, επιδείξεις μόδας και καλλιτεχνικές παρουσιάσεις.

Ενώ οι ερευνητές θα συνεχίσουν να βελτιώνουν την ακρίβεια της τεχνολογίας και των εφαρμογών της στη βιομηχανία ψυχαγωγίας, οι επιχειρήσεις επίσης κάνουν βελτιώσεις που θεωρούν κατάλληλες και απαραίτητες για τη βελτίωση των προσφορών τους.

Στα επόμενα τμήματα, θα εξετάσουμε δύο εταιρείες που έχουν σημειώσει σημαντική πρόοδο στον χώρο όπου η AR και η ψυχαγωγία συναντώνται.

1. Walt Disney

Αναφορές που δημοσιεύτηκαν τον Νοέμβριο του περασμένου έτους υπέδειξαν ότι η Disney δημιούργησε μια νέα στρατηγική ομάδα για τη διαχείριση και τον συντονισμό του τρόπου με τον οποίο η εταιρεία ανέπτυξε και εφάρμοσε τεχνολογίες επόμενης γενιάς — όπως η τεχνητή νοημοσύνη και η μεικτή πραγματικότητα. Ονομάστηκε Γραφείο Ενεργοποίησης Τεχνολογίας.

Ο Jamie Voris, που υπηρέτησε ως CTO των Walt Disney (DIS ) (WDP.DE ) Studios για 14 χρόνια, επιλέχθηκε να ηγηθεί της νεοσύστατης διεύθυνσης. Ο Voris, στη νέα του θέση, θα αναφέρει στον συν-πρόεδρο της Disney Entertainment, Alan Bergman.

Σε ένα εσωτερικό σημείωμα — που διανεμήθηκε πριν την έναρξη της νέας διεύθυνσης — ο Bergman είχε το εξής να πει:

«Η ικανότητά μας να παραμένουμε στην πρώτη γραμμή των τεχνολογικών εξελίξεων θα είναι μόνο πιο κρίσιμη καθώς προχωράμε — καθιστώντας ακόμη πιο σημαντικό να κατανοούμε και να υιοθετούμε νέες τεχνολογικές αλλαγές με τρόπους που ενδυναμώνουν το προσωπικό μας, τη δημιουργικότητα και την επιχείρηση.»

Στο ίδιο σημείωμα, ο Bergman δήλωσε ότι το Γραφείο Ενεργοποίησης Τεχνολογίας είχε ως αποστολή να διασφαλίσει ότι η Disney είναι «προοδευτική, καινοτόμος και υπεύθυνη ηγέτης» στην AI και τη μεικτή πραγματικότητα.

Πιο σημαντικό, ο Bergman παραδέχτηκε ότι ο ρυθμός και το εύρος των προόδων στην εκτεταμένη πραγματικότητα, η οποία περιλαμβάνει την AR ως ένα από τα πιο σημαντικά της στοιχεία, είναι βαθιές και θα συνεχίσουν να επηρεάζουν τις καταναλωτικές εμπειρίες, τις δημιουργικές προσπάθειες και την επιχείρηση της Disney για πολλά χρόνια.

Ειδικοί και αναλυτές του κλάδου πιστεύουν ότι η αξιοποίηση αυτών των τεχνολογιών από τη Disney θα είναι πολυδιάστατη. Η εξερεύνηση θα καλύψει τις διάφορες επιχειρηματικές της μονάδες.

Στον τομέα των θεματικών πάρκων, για παράδειγμα, η εταιρεία συγκροτεί μια ειδική ομάδα για να διερευνήσει πώς η AR και η VR μπορούν να βελτιώσουν τις εμπειρίες των επισκεπτών, ευθυγραμμίζοντας με τις ευρύτερες τάσεις του κλάδου. Σε μια ενδεικτική κίνηση ηγεσίας, ο Kyle Laughlin έχει επίσης πρόσφατα επιστρέψει στη Disney.

Ως νέος ανώτερος αντιπρόεδρος έρευνας και ανάπτυξης για το Walt Disney Imagineering, οι ειδικοί πιστεύουν ότι το υπόβαθρο του Kyle στην AR, VR και AI τον τοποθετεί ιδανικά για να προωθήσει την καινοτομία στις ελκυστικές εμπειρίες των θεματικών πάρκων.

Όσον αφορά τις συγκεκριμένες χρήσεις της τεχνολογίας αναγνώρισης προσώπου, αναφορές από τον Δεκέμβριο 2021 υπέδειξαν ότι η Disney Corporation δοκιμάζει τη χρήση λογισμικού αναγνώρισης προσώπου για τον έλεγχο των επισκεπτών που φθάνουν στο θεματικό πάρκο Disney World στη Φλόριντα — γνωστό ως Magic Kingdom.

Η αυτοματοποιημένη γραμμή ετικετών που δημιουργήθηκε για το αποθετήριο περιεχομένου της Disney εξοπλίστηκε με μονάδες ανίχνευσης και αναγνώρισης προσώπου που εφαρμόστηκαν στη βιβλιοθήκη περιεχομένου της Disney (σόου, ταινίες κ.λπ.).

Στις 28 Σεπτεμβρίου 2024, Η Walt Disney Company (NYSE: DIS) ανακοίνωσε τα κέρδη του τέταρτου τριμήνου και του πλήρους έτους. Τα έσοδα αυξήθηκαν κατά 6 % για το Q4 στα 22,6 δισεκατομμύρια δολάρια από 21,2 δισεκατομμύρια δολάρια το προηγούμενο τρίμηνο και κατά 3 % για το έτος στα 91,4 δισεκατομμύρια δολάρια από 88,9 δισεκατομμύρια δολάρια το προηγούμενο έτος.

2. Electronic Art Inc.  

Μια άλλη εταιρεία στον χώρο της ψυχαγωγίας που κάνει εξαιρετική δουλειά με τεχνολογίες επαυξημένης πραγματικότητας και βελτιώνει σημαντικά την αναγνώριση προσώπου είναι η Electronic Arts (EA ) ή EA. Η εταιρεία παρουσίασε στο SIGGRAPH Asia 2024, που έλαβε χώρα στο Τόκιο, Ιαπωνία, τη θεωρία της σταθεροποίησης μέσω σκαλισμού κρανίου.

Η εταιρεία πίστευε ότι η ακριβής σταθεροποίηση της κίνησης του προσώπου ήταν ουσιώδης για τη δημιουργία φωτορεαλιστικών αβατάρων για τρισδιάστατα παιχνίδια, εικονική πραγματικότητα, ταινίες και δεδομένα εκπαίδευσης μηχανικής μάθησης. Ιδιαίτερα στην τελευταία περίπτωση, η εταιρεία θεωρούσε ότι η σταθεροποίηση του προσώπου έπρεπε να λειτουργεί γρήγορα και αυτόματα όταν τα δεδομένα προέρχονται από πληθυσμό ατόμων με διαφορετική μορφολογία.

Οι παρουσιαστές της EA πίστευαν ότι ήταν κρίσιμο να διαχωριστούν οι άκαμπτες κινήσεις του κρανίου από τις εκφράσεις του προσώπου, καθώς η μη ευθυγράμμιση μεταξύ κίνησης του κρανίου και εκφράσεων προσώπου θα μπορούσε να οδηγήσει σε μοντέλο κίνησης δύσκολο στον έλεγχο και ακατάλληλο για φυσική κίνηση.

Ωστόσο, όλα αυτά ήταν δύσκολο να επιτευχθούν επειδή οι υπάρχουσες μέθοδοι σταθεροποίησης παρουσίαζαν ορισμένα μειονεκτήματα. Αυτές οι μέθοδοι δυσκολεύονταν να λειτουργήσουν με αραιά σύνολα πολύ διαφορετικών εκφράσεων, όπως όταν συνδυάζονταν πολλαπλές μονάδες από ένα σύστημα κωδικοποίησης δράσης προσώπου (FACS). Παρόλο που υπήρχαν άλλες μέθοδοι, η ομάδα της EA τις θεωρούσε ανεπαρκώς ανθεκτικές.

Ως λύση, η ομάδα της EA αξιοποίησε τις τελευταίες προόδους σε νευρωνικά πεδία υπογεγραμμένης απόστασης και διαφοροποιήσιμη δημιουργία ισοπεδίου για να υπολογίσει τις άκαμπτες μετασχηματισμούς σταθεροποίησης του κρανίου απευθείας σε μη δομημένα τριγωνικά δίκτυα ή νέφη σημείων. Η προσέγγισή τους βοήθησε σημαντικά στην αύξηση της ακρίβειας και της ανθεκτικότητας.

Η ομάδα δεν σταμάτησε εκεί. Προχώρησε στην εισαγωγή της έννοιας ενός «σταθερού κελύφους» ως την επιφάνεια της λογικής τομής των σταθεροποιημένων σκαναρισμάτων, ανάλογα με το «οπτικό κέλυφος» (στην τεχνική shape‑from‑silhouette) και το «φωτογραφικό κέλυφος» (στην τεχνική space carving). Το σταθερό κέλυφος μοιάζει με ένα κρανίο καλυμμένο με ελάχιστο πάχος μαλακού ιστού, και τα άνω δόντια συμπεριλαμβάνονται αυτόματα.

Η ομάδα ισχυρίστηκε ότι ο αλγόριθμος σκαλισμού κρανίου τους βελτιστοποιεί ταυτόχρονα το σχήμα του σταθερού κελύφους και τους άκαμπτους μετασχηματισμούς για ακριβή σταθεροποίηση σύνθετων εκφράσεων για ένα διαφοροποιημένο σύνολο ατόμων, υπερέχοντας τις υπάρχουσες μεθόδους.

Η EA υποστηρίζει εδώ και πολύ καιρό τη χρήση της AR με σύνεση. Το 2017, ο CEO της EA χαρακτήρισε την AR ως «πιο ενδιαφέρουσα». Εισήγαγε την τεχνολογία Cranium στο EA SPORTS FC™ 25. Η τεχνολογία προσέφερε ακριβή έλεγχο πολλών πτυχών του μοντέλου κεφαλιού του χαρακτήρα στο παιχνίδι.

Οι χρήστες μπορούσαν να χρησιμοποιήσουν αυτήν την τεχνολογία για γλυπτική και υφές, σχεδιάζοντας το μοντέλο κεφαλιού ενός χαρακτήρα με το πνεύμα ενός δημιουργού. Παρέχει στους χρήστες κάτι παραπάνω από απλή διαμόρφωση — επιτρέπει την κίνηση του προσώπου του χρήστη με φυσικό τρόπο, ενισχύοντας την εμβάπτιση και την ρεαλιστικότητα.

Σύμφωνα με την πιο πρόσφατη διαθέσιμη οικονομική αναφορά, οι καθαρές κρατήσεις της EA για το τρίτο τρίμηνο του FY25 ανήλθαν σε US$2,215 δισεκατομμύρια.

«Η ρεκόρ επιτυχία της εκδήλωσης EA SPORTS FC 25 Team of the Year αποδεικνύει την ικανότητα των δημιουργικών μας ομάδων να προσαρμόζονται, να καινοτομούν και να υλοποιούν σε μεγάλη κλίμακα», δήλωσε ο Andrew Wilson, Διευθύνων Σύμβουλος της Electronic Arts.

Προβολή Πρόσωπου μέσω Προβολής: Συνεχιζόμενη Έρευνα, Συνεπής Βελτίωση

Η μετασχηματιστική τεχνολογία προβολής προσώπου που ξεκινήσαμε το άρθρο μας δεν επιτεύχθηκε σε μία μέρα. Συνεχίζει μια μακρά παράδοση έρευνας σε αυτόν τον τομέα.

Για παράδειγμα, το 2021, ερευνητές του Σχολείου Μηχανικής του Ινστιτούτου Τεχνολογίας του Τόκιο δημοσίευσαν ένα άρθρο με τίτλο ‘Υψηλής Ταχύτητας Δυναμική Προβολή σε Ανθρώπινο Βραχίονα με Ρεαλιστική Παραμόρφωση Δέρματος.‘ ²

Στα αρχικά τους σχόλια, οι ερευνητές παραδέχτηκαν ότι η δυναμική προβολή σε ένα κινούμενο αντικείμενο σύμφωνα με τη θέση και το σχήμα του ήταν θεμελιώδης για την επαυξημένη πραγματικότητα ώστε να αντικατοπτρίζει αλλαγές στην επιφάνεια-στόχο.

Ανέπτυξαν ειδικά την ενίσχυση της επιφάνειας του ανθρώπινου βραχίονα μέσω δυναμικής προβολής που θα μπορούσε να ενισχύσει εφαρμογές στη μόδα, τις διεπαφές χρήστη, το πρωτοτυπικό μοντέλο, την εκπαίδευση, την ιατρική βοήθεια και άλλα πεδία. Ωστόσο, εντόπισαν ορισμένα μειονεκτήματα.

Βρήκαν ότι οι συμβατικές μέθοδοι αγνοούσαν την παραμόρφωση του δέρματος και παρουσίαζαν υψηλή καθυστέρηση μεταξύ κίνησης και προβολής, προκαλώντας ορατή μη ευθυγράμμιση μεταξύ της επιφάνειας του βραχίονα-στόχου και των προβλεπόμενων εικόνων.

Ως λύση, οι ερευνητές πρότειναν ένα σύστημα υψηλής ταχύτητας δυναμικής προβολής σε έναν γρήγορα κινούμενο ανθρώπινο βραχίονα με ρεαλιστική παραμόρφωση δέρματος. Με το αναπτυγμένο σύστημα, ο χρήστης δεν αντιλαμβανόταν καμία μη ευθυγράμμιση μεταξύ της επιφάνειας του βραχίονα και των προβλεπόμενων εικόνων.

Για την υλοποίηση του έργου, οι ερευνητές συνδύασαν ένα μοντέλο παραμετρικής παραμορφώσιμης επιφάνειας αιχμής με αποδοτική παλινδρόμηση‑βασισμένη αποζημίωση ακρίβειας για την αναπαράσταση της παραμόρφωσης του δέρματος και τροποποίησαν τις συντεταγμένες υφής ώστε να επιτευχθεί γρήγορη και ακριβής δημιουργία εικόνας για την προβολή βάσει παρακολούθησης των αρθρώσεων.

Στο δεύτερο βήμα, οι ερευνητές ανέπτυξαν ένα σύστημα υψηλής ταχύτητας που παρείχε καθυστέρηση μεταξύ κίνησης και προβολής κάτω από 10 ms, η οποία ήταν γενικά αόρατη από την ανθρώπινη όραση.

Παρόμοια έρευνα διεξήχθη από μια ομάδα ερευνητών το 2017. Η ομάδα είχε συνεργάτες από το Disney Research, το Πανεπιστήμιο Princeton, το Πανεπιστήμιο Chalmers και το Πανεπιστήμιο Osaka. Η έρευνα είχε τίτλο ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

Στο άρθρο, οι ερευνητές πρότειναν το πρώτο σύστημα για ζωντανή δυναμική ενίσχυση ανθρώπινων προσώπων. Χρησιμοποιώντας φωτισμό με προβολέα, άλλαζαν την εμφάνιση των ανθρώπινων ερμηνευτών κατά τη διάρκεια καινοτόμων παραστάσεων. Το κύριο πρόβλημα της ζωντανής ενίσχυσης, ωστόσο, ήταν η καθυστέρηση.

Μια εικόνα δημιουργήθηκε σύμφωνα με μια συγκεκριμένη στάση, αλλά εμφανίστηκε σε διαφορετική διαμόρφωση προσώπου τη στιγμή που προβάλλεται. Το σύστημα που πρότειναν οι ερευνητές αποσκοπούσε στη μείωση της καθυστέρησης σε κάθε βήμα της διαδικασίας, από τη λήψη μέχρι την επεξεργασία και την προβολή.

Χρησιμοποιώντας υπέρυθρη φωτισμό, μια οπτικά και υπολογιστικά ευθυγραμμισμένη κάμερα υψηλής ταχύτητας ανίχνευε την προσανατολισμό του προσώπου καθώς και την έκφραση. Τα εκτιμώμενα σχήματα ανάμειξης εκφράσεων απεικονίστηκαν σε χαμηλότερο διαστατικό χώρο, και η κίνηση του προσώπου και η μη‑ακατάστατη παραμόρφωση εκτιμήθηκαν, εξομαλύνθηκαν και προβλέπονται μέσω προσαρμοστικού φιλτραρίσματος Kalman. Τέλος, η επιθυμητή εμφάνιση δημιουργήθηκε με παρεμβολή προ‑υπολογισμένων υφών offset σύμφωνα με το χρόνο, τη γενική θέση και την έκφραση.

Οι ερευνητές αξιολόγησαν το σύστημά τους μέσω ενός βελτιστοποιημένου πρωτοτύπου CPU και GPU και έδειξαν επιτυχημένη ενίσχυση χαμηλής καθυστέρησης για διαφορετικούς ερμηνευτές και παραστάσεις με μεταβαλλόμενη ταχύτητα κίνησης και εκφράσεων.

Οι ερευνητές ισχυρίστηκαν, σε αντίθεση με τις υπάρχουσες μεθόδους, ότι το παρουσιασμένο σύστημα ήταν η πρώτη μέθοδος που υποστήριζε πλήρως τη δυναμική προβολή προσώπου χωρίς την ανάγκη φυσικών σημείων παρακολούθησης και ενσωμάτων εκφράσεων.

Η προβολή προσώπου και η έρευνα για την επίτευξη σταθερού αποτελέσματος χωρίς καθυστέρηση και μη ευθυγράμμιση δεν είναι καινούργιες. Οι ερευνητές ακολουθούν επίμονα αυτή τη διαδρομή για τις μετασχηματιστικές της δυνατότητες. Η πιο πρόσφατη τεχνική DFPM αποτελεί σίγουρα μια επανάσταση και θα βοηθήσει να ξανασχεδιάσουμε την ψυχαγωγία με βελτιωμένες αποδόσεις.

Κάντε κλικ εδώ για μια λίστα με τις κορυφαίες μετοχές επαυξημένης και εικονικής πραγματικότητας.

Αναφορά Μελέτης:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Δυναμική Προβολή Πρόσωπου με Αντιληπτική Στοίχιση μέσω Μεθόδου Υψηλής Ταχύτητας Παρακολούθησης Προσώπου και Συστήματος Συμπαγούς Φακού‑Μετατόπισης. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Υψηλής Ταχύτητας Δυναμική Προβολή σε Ανθρώπινο Βραχίονα με Ρεαλιστική Παραμόρφωση Δέρματος. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Φωτιστικά Μακιγιάζ: Ζωντανή Ενίσχυση Ανθρώπινων Προσώπων μέσω Προβολής. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128