Die Unterhaltungsindustrie mit dynamischem Gesichtsprojektionsmapping neu erfinden

Augmented Reality, oder AR, hat bereits seinen revolutionären Wert für die Unterhaltungsindustrie bewiesen. Es verwendet wird in den Bereichen Gaming, Filme, Live-Events, Themenparks, Museen und Ausstellungen, Theater und Aufführungen, Fernsehen, Werbung, soziale Medien, E-Sport, Tourismus, Mode, Kunst, Musik und Tanz und sogar Comics und Graphic Novels oder Zaubershows. 

Eine Marktschätzung deutet darauf hin, Der AR- und VR-Markt für die Unterhaltungsindustrie könnte bis 30 2030 Milliarden US-Dollar erreichen und im Prognosezeitraum 19–2024 mit einer durchschnittlichen jährlichen Wachstumsrate von fast 2030 % wachsen.

Der Bericht identifizierte mehrere treibende Faktoren, die zum Wachstum von AR in der Unterhaltung führten. So half der Einsatz von AR den Content-Erstellern beispielsweise dabei, immersive Erzählungen zu erstellen, die die Grenzen zwischen Realität und Fiktion verwischten, das Publikum dazu inspirierten, aktiv am Geschichtenerzählen teilzunehmen und das Engagement und die emotionale Verbindung zu stärken. AR & VR halfen auch dabei, personalisierte Erlebnisse zu schaffen, die auf individuelle Vorlieben zugeschnitten waren.

Durch die Nutzung von Datenanalysen in Kombination mit AR könnten Unterhaltungsunternehmen Inhalte, Empfehlungen und sogar Werbung anpassen. Aber das ist alles nur die Spitze des Eisbergs.

Mit bestimmten technologischen Innovationen könnte AR noch viel mehr erreichen. Im nächsten Abschnitt besprechen wir eine solche bahnbrechende Innovation, bei der es um eine Technologie namens DFPM (Dynamic Facial Projection Mapping) geht. 

DFPM: Was ist das?

Es handelt sich um eine neuartige Augmented-Reality-Technik, bei der Bilder auf menschliche Gesichter projiziert werden und so deren Aussehen in Echtzeit verändern. Anders ausgedrückt: Bei dieser Methode werden dynamische Visualisierungen in Echtzeit auf das Gesicht einer Person projiziert. Dabei kommt fortschrittliches Gesichts-Tracking zum Einsatz, um sicherzustellen, dass sich die Projektionen nahtlos an Bewegungen und Mimik anpassen.

Quelle: Disney Forschung

Obwohl die Technologie ein enormes Potenzial birgt und große Sprünge in der künstlerischen Vorstellungskraft ermöglichen könnte, leidet die Technik unter technischen Herausforderungen. Kurz gesagt, dieses Problem könnte gesehen werden als das Problem der Fehlausrichtung. 

Eine neue Studie veröffentlicht im Journal des Institute of Electrical and Electronics Engineers¹ befasst sich mit dem Problem der Fehlausrichtung. Doch bevor wir uns näher mit der Lösung befassen, schauen wir uns zunächst an, worin das Problem besteht.

Klicken Sie hier, um mehr über Investitionen in die Zukunft der virtuellen Realität zu erfahren.

Das Problem der Fehlausrichtung bei der Bereitstellung von DFPM

Um visuelle Elemente auf ein sich bewegendes Gesicht zu projizieren, muss das DFPM-System die Gesichtszüge des Benutzers wie Augen, Nase und Mund in weniger als einer Millisekunde erkennen. Schon geringe Verzögerungen bei der Verarbeitung oder minimale Abweichungen zwischen den Bildkoordinaten von Kamera und Projektor können zu Projektionsfehlern – sogenannten „Fehlausrichtungsartefakten“ – führen. Diese Fehler sind deutlich wahrnehmbar und können die Immersion beeinträchtigen. Sie können sogar die Immersion zerstören.

Ein Forscherteam des Institute of Science Tokyo, Japan, suchte nach Lösungen für bestehende Herausforderungen im DFPM. Unter der Leitung von Associate Professor Yoshihiro Watanabe gehörte dem Team auch der Doktorand Hao-Lun Peng an. In ihrer Studie schlugen sie Konzepte zur Reduzierung der „Fehlausrichtungsartefakte“ vor. 

Zwei Vorschläge zur Reduzierung von Fehlausrichtungsartefakten' 

Der Artikel der beiden Tokioter Forscher hat einen langen Titel, wie es bei solchen Artikeln üblich ist. Aber das Problem, mit dem er sich befasst, ist einfach zu verstehen. Er versucht – wie bereits erwähnt – die Fehlausrichtungsartefakte zwischen projizierten Bildern und Zielgesichtern zu reduzieren. Dies stellt eine anhaltende Herausforderung für DFPM dar“, glauben die Forscher. 

Um ihr Ziel zu erreichen, unterbreiteten die Forscher zwei Vorschläge. Das erste Konzept schlug eine Hochgeschwindigkeitsmethode zur Gesichtsverfolgung vor, die zeitliche Informationen nutzt. Im Rahmen ihrer Bemühungen führten die Forscher zunächst ein auf einen zugeschnittenen Bereich begrenztes, auf Inter-/Extrapolation basierendes Gesichtserkennungsframework ein, das eine parallele Ausführung mit der Erkennung von Gesichtsmerkmalen ermöglichte. 

Anschließend schlugen die Forscher eine neuartige hybride Methode zur Erkennung von Gesichtsmerkmalen vor, die schnelle ERT-basierte (Ensemble of Regression Trees) Erkennungen mit einer zusätzlichen Erkennung kombinierte. Die ERT-basierten Erkennungen lieferten schnelle Ergebnisse in 0.107 ms unter Verwendung zeitlicher Informationen und mit Unterstützung der zusätzlichen Erkennung zur Behebung von Erkennungsfehlern. 

Um die Methode zur Erkennung von Gesichtsmerkmalen zu trainieren, schlugen die Forscher eine innovative Methode zur Simulation von Videoanmerkungen mit hoher Bildrate vor, um den Mangel an öffentlich verfügbaren annotierten Datensätzen mit hoher Bildrate zu beheben.

Das zweite Konzept beinhaltete eine koaxiale Projektor-Kamera-Konfiguration mit Linsenverschiebung, die eine hohe optische Ausrichtung mit einem Fehler von lediglich 1.274 Pixeln zwischen einem und zwei Metern Tiefe aufrechterhalten konnte. Dabei wurde die Fehlausrichtung durch die Anwendung des gleichen optischen Designs auf Projektor und Kamera verringert, ohne dass es zu großen Fehlausrichtungen wie bei herkömmlichen Methoden kam.

Der Einsatz dieser Konzepte könnte Forscher zur Entwicklung eines neuartigen Hochgeschwindigkeits-DFPM-Systems führen, das eine nahezu perfekte Übereinstimmung mit der menschlichen visuellen Wahrnehmung erreicht.

Klicken Sie hier, um eine Liste der Unternehmen anzuzeigen, die die AR/VR-Grenze neu definieren.

Die Erfolge zusammengefasst

Wenn wir unseren Fokus von den hochtechnologischen Aspekten der Forschung abwenden und versuchen zu verstehen, was sie aus Anwendungsperspektive leisten könnte, würden die Ergebnisse wie folgt lauten:

Der vorgeschlagene Aufbau könnte zu einer außergewöhnlich hohen optischen Ausrichtung mit weniger als 1.3 Pixelfehlern in einer Tiefe von 1–2 m führen. Der Aufbau ermöglichte eine schnellere Verarbeitung und führte zu einer hohen Genauigkeit in dynamischen Szenarien. 

Darüber hinaus entwickelten die Forscher im Laufe des Prozesses eine Methode zur Simulation von Hochgeschwindigkeits-Videoannotationen, um die Modelle zu trainieren. 

Insgesamt sollten die Ergebnisse dazu beitragen, überzeugendere und hyperrealistischere Effekte für Live-Auftritte, Modenschauen und künstlerische Präsentationen zu entwickeln. 

Während Forscher weiterhin an der Präzision der Technologie und ihrer Anwendung in der Unterhaltungsindustrie arbeiten, nehmen auch Unternehmen Verbesserungen vor, die sie zur Verbesserung ihrer Angebote für angemessen und notwendig erachten. 

In den kommenden Abschnitten werfen wir einen Blick auf zwei solcher Unternehmen, die in dem Bereich, in dem AR und Unterhaltung zusammentreffen, bedeutende Fortschritte gemacht haben. 

1. Walt Disney (DIS -2.48 %)

Im November veröffentlichte Berichte Im letzten Jahr deutete Disney darauf hin, dass es eine neue strategische Gruppe gegründet habe, die die Entwicklung und Bereitstellung von Technologien der nächsten Generation – wie künstliche Intelligenz und Mixed Reality – durch das Unternehmen verwalten und koordinieren soll. Sie hieß Office of Technology Enablement.

Jamie Voris, der 14 Jahre lang als CTO von Walt Disney Studios tätig war, wurde zum Leiter der neu gegründeten Abteilung ernannt. In seiner neuen Funktion sollte Voris an den Co-Vorsitzenden von Disney Entertainment, Alan Bergman, berichten. 

In einem internen Memo, das wurde in Umlauf gebracht vor dem Start der neuen Abteilung – hatte Bergman Folgendes zu sagen:

„Unsere Fähigkeit, an der Spitze des technologischen Fortschritts zu bleiben, wird in Zukunft immer wichtiger. Umso wichtiger ist es, die neuen technologischen Veränderungen so zu verstehen und anzunehmen, dass sie unseren Mitarbeitern, unserer Kreativität und unserem Geschäft zugutekommen.“ 

In demselben Memo sagte Bergman, dass das Office of Technology Enablement die Aufgabe habe, sicherzustellen, dass Disney „ein fortschrittlicher, innovativer und verantwortungsvoller Marktführer“ sei." in KI und Mixed Reality. 

Wichtiger, Bergman räumte ein, dass das Tempo und der Umfang der Fortschritte in der erweiterten Realität, bei der AR eine der wichtigsten Komponenten ist, sind tiefgreifend und werden sich auch in den kommenden Jahren auf die Verbrauchererlebnisse, die kreativen Bemühungen und das Geschäft von Disney auswirken. 

Experten und Branchenanalysten gehen davon aus, dass Disney diese Technologien auf vielfältige Weise nutzen wird. Die Erkundung wird sich auf verschiedene Geschäftsbereiche erstrecken.

Im Bereich der Freizeitparks stellt das Unternehmen beispielsweise ein eigenes Team zusammen, das untersuchen soll, wie AR und VR das Besuchererlebnis verbessern können, und zwar im Einklang mit breiteren Branchentrends. In einem vielsagenden Führungswechsel ist Kyle Laughlin kürzlich ebenfalls zu Disney zurückgekehrt.

Als neuer Senior Vice President für Forschung und Entwicklung bei Walt Disney Imagineering sind Experten davon überzeugt, dass Kyle aufgrund seines Hintergrunds in den Bereichen AR, VR und KI gut geeignet ist, Innovationen bei Freizeitparkattraktionen voranzutreiben. 

Was die konkrete Anwendung der Gesichtserkennungstechnologie betrifft, so deuten Berichte vom Dezember 2021 darauf hin, dass die Disney Corporation den Einsatz von Gesichtserkennungssoftware testete, um die Besucher ihres Themenparks Disney World in Florida – bekannt als Magic Kingdom – zu überprüfen. 

Die automatisierte Tagging-Pipeline, die für Disneys Content-Repository erstellt wurde, war mit Gesichtserkennungs- und Erkennungsmodulen ausgestattet, die wurden angewendet zur Inhaltsbibliothek von Disney (Shows, Filme usw.). 

Im September 28, 2024, Die Walt Disney Company (NYSE: DIS) meldete ihre Ergebnisse für das vierte Quartal und das Gesamtjahr. Der Umsatz stieg im vierten Quartal um 6 % auf 4 Milliarden US-Dollar gegenüber 22.6 Milliarden US-Dollar im Vorjahresquartal und um 21.2 % auf 3 Milliarden US-Dollar gegenüber 91.4 Milliarden US-Dollar im Vorjahr.

2. Electronic Art Inc.  (EA + 0.05%)

Ein weiteres Unternehmen im Unterhaltungsbereich, das erstaunliche Arbeit geleistet hat mit Augmented Reality-Technologien und Verbesserung der Gesichtserkennung Im Wesentlichen handelt es sich um Electronic Arts oder EA. Das Unternehmen präsentierte auf der SIGGRAPH Asia 2024 in Tokio, Japan, die Theorie der Stabilisierung durch Schädelschnitzerei.

Das Unternehmen war davon überzeugt, dass eine präzise Stabilisierung der Gesichtsbewegungen für die Erstellung fotorealistischer Avatare für 3D-Spiele, virtuelle Realität, Filme und Trainingsdaten für maschinelles Lernen unerlässlich ist. Insbesondere im letzten Fall war das Unternehmen davon überzeugt, dass die Gesichtsstabilisierung schnell und automatisch funktionieren muss, wenn die Quelldaten eine Population von Menschen mit unterschiedlicher Morphologie sind. 

Die Vortragenden von EA waren der Ansicht, dass es von entscheidender Bedeutung sei, starre Schädelbewegungen von Gesichtsausdrücken zu unterscheiden, da eine Fehlausrichtung zwischen Schädelbewegung und Gesichtsausdruck zu einem Animationsmodell führen könne, das schwer zu steuern und für natürlich wirkende Bewegungen ungeeignet sei.

All dies war jedoch schwer zu erreichen, da bestehende Stabilisierungsmethoden einige Nachteile hatten. Diese Methoden hatten Probleme mit spärlichen Mengen sehr unterschiedlicher Ausdrücke, beispielsweise beim Kombinieren mehrerer Einheiten aus einem Gesichtsaktionscodierungssystem (FACS). Zwar gab es andere Methoden, aber das EA-Team fand sie nicht robust genug.

Als Lösung nutzte das EA-Team die neuesten Fortschritte bei neuronalen Vorzeichen-Distanzfeldern und differenzierbaren Isoflächen-Netzen, um starre Transformationen zur Schädelstabilisierung direkt auf unstrukturierten Dreiecksnetzen oder Punktwolken zu berechnen. Ihr Ansatz trug dazu bei, Genauigkeit und Robustheit deutlich zu verbessern.

Das Team gab sich damit aber nicht zufrieden. Es führte das Konzept eines „stabilen Rumpfes“ ein." als Oberfläche der booleschen Schnittmenge stabilisierter Scans, analog zur „visuellen Hülle" (in Form-aus-Silhouette) und der „Fotorumpf" (im Space Carving). Der stabile Rumpf ähnelt einem Schädel, der mit minimaler Weichgewebedicke überzogen ist, und die oberen Zähne sind automatisch enthalten. 

Das Team behauptete, dass ihr Algorithmus zum Schädelschnitzen gleichzeitig die stabile Rumpfform und starre Transformationen optimiert, um eine genaue Stabilisierung komplexer Ausdrücke für eine vielfältige Gruppe von Menschen zu erreichen und dabei bestehende Methoden zu übertreffen.

EA ist schon lange dafür, AR sinnvoll einzusetzen. Bereits 2017 bezeichnete der EA-CEO AR als „interessanter.‘ Es führte die Cranium-Technologie in EA SPORTS FC™ 25 ein. Die Technologie ermöglichte eine präzise Kontrolle über viele Aspekte des Kopfmodells der Spielfigur.

Nutzer konnten diese Technologie für Skulpturen und Texturen nutzen, um das Kopfmodell einer Figur mit dem Geist eines Schöpfers zu gestalten. Sie bot den Nutzern mehr als nur Formgebung – sie ermöglichte die Animation natürlicher Gesichtsbewegungen, was für mehr Immersion und Realismus sorgte. 

Laut dem letzten verfügbaren Finanzbericht beliefen sich die Nettobuchungen von EA für das dritte Quartal des Geschäftsjahres 3 auf US $ 2.215 Milliarden.

„Der Rekorderfolg unseres EA SPORTS FC 25 Team of the Year-Events zeigt die Fähigkeit unserer Kreativteams, sich anzupassen, zu innovieren und im großen Maßstab umzusetzen“, sagte Andrew Wilson, CEO von Electronic Arts.

Gesichtsprojektionsmapping: Fortlaufende Forschung, stetige Verbesserung

Die bahnbrechende Forschung zur Gesichtsprojektionsmapping-Technologie, mit der wir unseren Artikel begonnen haben, wurde nicht erreicht an einem Tag. Es führt eine lange Tradition der Forschung auf diesem Gebiet fort.

Zum Beispiel 2021veröffentlichten Forscher der School of Engineering des Tokyo Institute of Technology eine Arbeit mit dem Titel „Dynamisches Hochgeschwindigkeits-Projektionsmapping auf den menschlichen Arm mit realistischer Hautverformung.' ²

In ihren Eröffnungsbemerkungen räumten die Forscher ein, dass dynamisches Projektionsmapping für ein bewegtes Objekt entsprechend seiner Position und Form von grundlegender Bedeutung sei, damit Augmented Reality Veränderungen auf einer Zieloberfläche nachbilden könne.

Sie beschäftigten sich insbesondere mit der Erweiterung der menschlichen Armoberfläche durch dynamisches Projektionsmapping, das Anwendungen in den Bereichen Mode, Benutzeroberflächen, Prototyping, Bildung, medizinische Versorgung und anderen Bereichen verbessern könnte. Sie stellten jedoch einige Nachteile fest.

Sie stellten fest, dass bei herkömmlichen Methoden die Hautverformung vernachlässigt wurde und eine hohe Latenz zwischen Bewegung und Projektion auftrat, was zu einer merklichen Fehlausrichtung zwischen der Zielarmoberfläche und den projizierten Bildern führte.

Als Lösung schlugen die Forscher ein System für dynamisches Hochgeschwindigkeits-Projektionsmapping auf einen sich schnell bewegenden menschlichen Arm mit realistischer Hautverformung vor. Mit dem entwickelten System nahm der Benutzer keine Fehlausrichtung zwischen der Armoberfläche und den projizierten Bildern wahr.

Um ihre Aufgabe zu erfüllen, kombinierten die Forscher zunächst ein hochmodernes parametrisches deformierbares Oberflächenmodell mit einer effizienten regressionsbasierten Genauigkeitskompensation, um die Hautverformung darzustellen und modifiziert die Texturkoordinaten, um eine schnelle und genaue Bildgenerierung für das auf Gelenkverfolgung basierende Projektionsmapping zu erreichen.

In einem zweiten Schritt entwickelten die Forscher ein Hochgeschwindigkeitssystem, das eine Latenz zwischen Bewegung und Projektion von unter 10 ms ermöglichte, die für das menschliche Auge im Allgemeinen nicht wahrnehmbar ist. 

Ähnliche Forschung wurde rausgebracht von einem Forscherteam im Jahr 2017. Das Team hatte Mitarbeiter von Disney Research, Princeton University, Chalmers University und Osaka University. Die Forschung trug den Titel „Make-up-Lampen: Live-Vergrößerung menschlicher Gesichter durch Projektion.“³

In dem Artikel schlugen die Forscher das erste System zur dynamischen Live-Augmentation menschlicher Gesichter vor. Mithilfe einer projektorbasierten Beleuchtung veränderten sie das Aussehen menschlicher Darsteller während neuartiger Aufführungen. Die größte Herausforderung bei der Live-Augmentation war jedoch die Latenz.

Ein Bild wurde generiert nach einer bestimmten Pose, aber wurde angezeigt auf einer anderen Gesichtskonfiguration durch die Zeit, wurde projiziertDas von den Forschern vorgeschlagene System zielte darauf ab, die Latenz während jedes Prozessschritts zu reduzieren, von der Erfassung über die Verarbeitung bis zur Projektion. 

Mithilfe von Infrarotbeleuchtung erfasste eine optisch und rechnerisch ausgerichtete Hochgeschwindigkeitskamera die Gesichtsausrichtung sowie den Gesichtsausdruck. Die geschätzten Ausdrucksformen wurden abgebildet auf einen Raum mit niedrigerer Dimension, und die Gesichtsbewegung und die nicht-starre Deformation wurden geschätzt, geglättet und durch adaptive Kalman-Filterung vorhergesagt. Schließlich wurde das gewünschte Aussehen wurde generiert durch Interpolation vorkalkulierter Offset-Texturen entsprechend Zeit, globaler Position und Ausdruck. 

Die Forscher evaluierten ihr System anhand eines optimierten CPU- und GPU-Prototyps und demonstrierten eine erfolgreiche Erweiterung mit geringer Latenz für verschiedene Darsteller und Darbietungen mit unterschiedlicher Mimik und Bewegungsgeschwindigkeit.

Die Forscher behaupteten, dass ihr vorgestelltes System im Gegensatz zu bestehenden Methoden die erste Methode sei, die dynamisches Gesichtsprojektionsmapping vollständig unterstütze, ohne dass physische Tracking-Marker erforderlich seien, und Gesichtsausdrücke beinhalte.

Gesichtsprojektionsmapping und Forschungen zur Erzielung einer stabilisierten Ausgabe ohne Latenz und Fehlausrichtung sind nichts Neues. Forscher verfolgen diesen Weg konsequent, da er transformative Fähigkeiten bietet. Die neueste DFPM-Technik ist sicherlich ein Durchbruch und wird dazu beitragen, die Unterhaltung mit verbesserten Leistungsaspekten neu zu erfinden. 

Klicken Sie hier, um eine Liste der Top-Aktien im Bereich Augmented Reality und Virtual Reality anzuzeigen.

Studienreferenz:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perzeptuell ausgerichtetes dynamisches Gesichtsprojektionsmapping durch Hochgeschwindigkeits-Gesichtsverfolgungsmethode und Lens-Shift-Koaxialaufbau. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Hochgeschwindigkeits-Dynamisches Projektionsmapping auf den menschlichen Arm mit realistischer Hautdeformation. Angewandte Wissenschaften, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, AH, Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live-Augmentation menschlicher Gesichter durch Projektion. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128