Die Unterhaltungsindustrie neu gestalten mit dynamischem Facial Projection Mapping

Augmented Reality, oder AR, hat bereits seinen revolutionären Wert für die Unterhaltungsindustrie bewiesen. Es wird in Spielen, Filmen, Live‑Events, Freizeitparks, Museen und Ausstellungen, Theater und Aufführungen, Fernsehen, Werbung, sozialen Medien, E‑Sport, Tourismus, Mode, Kunst, Musik und Tanz und sogar Comics und Graphic Novels oder Zaubershows verwendet. 

Eine Marktprognose besagt der AR‑ & VR‑Markt für die Unterhaltungsindustrie könnte bis 2030 US$30 Milliarden erreichen und im Prognosezeitraum 2024‑2030 mit einer CAGR von fast 19 % wachsen.

Der Bericht identifizierte mehrere treibende Faktoren, die das Wachstum von AR in der Unterhaltung vorantrieben. Beispielsweise half der Einsatz von AR den Inhaltserstellern, immersive Erzählungen zu gestalten, die die Grenzen zwischen Realität und Fiktion verwischten, das Publikum dazu inspirierten, aktive Teilnehmer am Storytelling zu werden, und das Engagement sowie die emotionale Bindung zu steigern. AR & VR halfen zudem, personalisierte Erlebnisse zu schaffen, die auf individuelle Vorlieben zugeschnitten sind.

Durch die Kombination von Datenanalyse und AR konnten Unterhaltungsunternehmen Inhalte, Empfehlungen und sogar Werbung individuell anpassen. Doch all das ist nur die Spitze des Eisbergs.

AR könnte mit spezifischen technologischen Innovationen noch viel mehr erreichen. Im folgenden Abschnitt diskutieren wir eine solche bahnbrechende Innovation, die eine Technologie namens DFPM, Dynamic Facial Projection Mapping, beinhaltet. 

DFPM: Was ist das?

Es ist eine neuartige Augmented‑Reality‑Technik, bei der Bilder auf menschliche Gesichter projiziert werden und deren Echtzeit‑Aussehen verändern. Mit anderen Worten, das Verfahren projiziert dynamische Visuals in Echtzeit auf das Gesicht einer Person und nutzt fortschrittliches Gesichtstracking, um sicherzustellen, dass die Projektionen nahtlos an Bewegungen und Ausdrücke angepasst werden.

Quelle: Disney Research

Obwohl die Technologie ein enormes Potenzial birgt und künstlerische Vorstellungen weit voranbringen könnte, leidet die Technik unter technischen Herausforderungen. Kurz gesagt, dieses Problem kann als das Problem der Fehljustierung gesehen werden. 

Eine neue Studie veröffentlicht im Journal des Institute of Electrical and Electronics Engineers¹ befasst sich mit dem Problem der Fehljustierung. Aber bevor wir tiefer in die Lösung eintauchen, schauen wir uns zunächst das Problem an.

Klicken Sie hier, um mehr über Investitionen in die Zukunft der virtuellen Realität zu erfahren.

Das Problem der Fehljustierung beim Einsatz von DFPM

Das Projektieren von Visuals auf ein sich bewegendes Gesicht erfordert, dass das DFPM‑System die Gesichtsmerkmale des Benutzers, wie Augen, Nase und Mund, in weniger als einer Millisekunde erkennt. Selbst kleinste Verzögerungen oder winzige Fehljustierungen zwischen den Bildkoordinaten von Kamera und Projektor können zu Projektionsfehlern führen – sogenannten „Misalignment‑Artefakten“. Diese sind wahrnehmbare Fehler und können die Immersion beeinträchtigen. Sie können bis zum völligen Verlust der Immersion führen.

Ein Forscherteam des Institute of Science Tokyo, Japan, machte sich auf die Suche nach Lösungen für die bestehenden Herausforderungen bei DFPM. Unter der Leitung von Associate Professor Yoshihiro Watanabe, zu dem auch der Doktorand Herr Hao‑Lun Peng gehörte, schlugen sie in ihrer Studie Konzepte zur Reduzierung der „Misalignment‑Artefakte“ vor. 

Zwei Vorschläge zur Reduzierung von ‘Misalignment‑Artefakten’‘ 

Das Papier der beiden in Tokio ansässigen Forscher hat einen langen Titel, was bei solchen Arbeiten üblich ist. Das behandelte Problem ist jedoch leicht zu verstehen. Es – wie zuvor zitiert – zielt darauf ab, die Misalignment‑Artefakte zwischen projizierten Bildern und Zielgesichtern zu reduzieren, ein anhaltendes Problem für DFPM, glauben die Forscher.

Die Forscher machten zwei Vorschläge, um ihr Ziel zu erreichen. Das erste Konzept schlug eine Hochgeschwindigkeits‑Gesichtstracking‑Methode vor, die temporale Informationen ausnutzt. In ihren Bemühungen stellten die Forscher zunächst ein auf einen beschnittenen Bereich begrenztes Inter‑/Extrapolations‑basiertes Gesichtserkennungs‑Framework vor, das eine parallele Ausführung mit der Erkennung von Gesichtslandmarken ermöglichte. 

Die Forscher schlugen anschließend eine neuartige hybride Gesichtslandmarken‑Erkennungsmethode vor, die schnelle Ensemble‑of‑Regression‑Trees (ERT)‑basierte Erkennungen mit einer Hilfserkennung kombinierte. ERT‑basierte Erkennungen lieferten in 0,107 ms schnelle Ergebnisse unter Nutzung temporaler Informationen, unterstützt durch die Hilfserkennung, um von Erkennungsfehlern zu erholen. 

Um die Gesichtslandmarken‑Erkennungsmethode zu trainieren, schlugen die Forscher eine innovative Methode zur Simulation von Hochbildrate‑Video‑Annotationen vor, um den Mangel an öffentlich verfügbaren hochbildrate‑annotierten Datensätzen zu beheben.

Das zweite Konzept beinhaltete ein lens‑shift koaxiales Projektor‑Kamera‑Setup, das eine hohe optische Ausrichtung mit nur einem 1,274‑Pixel‑Fehler zwischen 1 m und 2 m Tiefe beibehalten konnte, indem dieselben optischen Designs sowohl für den Projektor als auch für die Kamera angewendet wurden, ohne die großen Fehljustierungen konventioneller Methoden zu verursachen.

Der Einsatz dieser Konzepte könnte Forscher dazu befähigen, ein neuartiges Hochgeschwindigkeits‑DFPM‑System zu entwickeln, das nahezu perfekte Ausrichtung mit der menschlichen visuellen Wahrnehmung erreicht.

Klicken Sie hier für eine Liste von Unternehmen, die die AR/VR‑Grenze neu definieren.

Die zusammengefassten Errungenschaften

Wenn wir unseren Fokus von den stark technologischen Aspekten der Forschung weglenken, um zu verstehen, was daraus aus Anwendungsperspektive erreicht werden könnte, lauten die Ergebnisse wie folgt:

Das vorgeschlagene Setup könnte zu einer außergewöhnlich hohen optischen Ausrichtung mit weniger als 1,3 Pixel‑Fehler bei einer Tiefe von 1‑2 m führen. Das Setup bot schnellere Verarbeitung und erzielte hohe Genauigkeit in dynamischen Szenarien. 

Zusätzlich entwickelten die Forscher während des Prozesses eine Methode zur Simulation von Hochgeschwindigkeits‑Video‑Annotationen, um die Modelle zu trainieren. 

Insgesamt sollten die Ergebnisse dazu beitragen, überzeugendere und hyperrealistische Effekte für Live‑Performances, Modenschauen und künstlerische Präsentationen zu schaffen. 

Während die Forscher weiterhin mehr Präzision in die Technologie und ihre Anwendung in der Unterhaltungsindustrie einbringen, tätigen Unternehmen ebenfalls Verbesserungen, die sie für passend und notwendig halten, um ihr Angebot zu optimieren. 

In den kommenden Abschnitten betrachten wir zwei Unternehmen, die bedeutende Fortschritte in dem Bereich erzielt haben, in dem AR und Unterhaltung zusammenkommen. 

1. Walt Disney (DIS )

Berichte, die im November veröffentlicht wurden im vergangenen Jahr deuteten darauf hin, dass Disney eine neue strategische Gruppe gegründet hatte, um zu verwalten und zu koordinieren, wie das Unternehmen Next‑Generation‑Technologien – wie künstliche Intelligenz und Mixed Reality – entwickelt und einsetzt. Sie wurde Office of Technology Enablement genannt.

Jamie Voris, der 14 Jahre lang als CTO der Walt Disney Studios tätig war, wurde ausgewählt, die neu gegründete Abteilung zu leiten. Voris sollte in der neuen Rolle dem Co‑Chairman von Disney Entertainment, Alan Bergman, Bericht erstatten. 

In einem internen Memo – das vor dem Start der neuen Abteilung verteilt wurde – äußerte Bergman Folgendes:

„Unsere Fähigkeit, an der Spitze technologischer Fortschritte zu bleiben, wird in Zukunft noch entscheidender sein – was es umso wichtiger macht, neue technologische Verschiebungen zu verstehen und zu nutzen, um unser Personal, unsere Kreativität und unser Geschäft zu befähigen.“

Im selben Memo sagte Bergman, dass das Office of Technology Enablement die Aufgabe habe, sicherzustellen, dass Disney ein „progressiver, innovativer und verantwortungsbewusster Führer“ im Bereich KI und Mixed Reality ist.

Mehr noch, Bergman gab zu, dass das Tempo und der Umfang der Fortschritte in Extended Reality, zu dem AR als einer seiner bedeutendsten Bestandteile gehört, tiefgreifend sind und die Verbraucherlebnisse, kreativen Bestrebungen und das Geschäft von Disney über Jahre hinweg beeinflussen werden. 

Experten und Branchenanalysten glauben, dass Disneys Nutzung dieser Technologien facettenreich sein wird. Die Erkundung wird sich über seine verschiedenen Geschäftsbereiche erstrecken.

Im Themenpark‑Sektor beispielsweise stellt das Unternehmen ein dediziertes Team zusammen, um zu untersuchen, wie AR und VR das Besuchererlebnis verbessern können, im Einklang mit breiteren Branchentrends. In einer suggestiven Führungsmaßnahme ist Kyle Laughlin kürzlich zu Disney zurückgekehrt.

Als neuer Senior Vice President für Forschung und Entwicklung bei Walt Disney Imagineering glauben Experten, dass Kyle’s Hintergrund in AR, VR und KI ihn gut positioniert, Innovationen bei Themenparkattraktionen voranzutreiben. 

Was die konkreten Einsatzmöglichkeiten von Gesichtserkennungstechnologie angeht, deuten Berichte vom Dezember 2021 darauf hin, dass die Disney Corporation die Nutzung von Gesichtserkennungssoftware testete, um Besucher beim Betreten ihres Disney World Themenparks in Florida – dem Magic Kingdom – zu überprüfen. 

Die für Disneys Inhaltsrepository erstellte automatisierte Tagging‑Pipeline war mit Gesichts‑Erkennungs‑ und -Erkennungsmodulen ausgestattet, die auf Disneys Content‑Bibliothek (Shows, Filme usw.) angewendet wurden. 

Am 28. September 2024 meldete The Walt Disney Company (NYSE: DIS) ihre Ergebnisse für das vierte Quartal und das Gesamtjahr. Der Umsatz stieg im Q4 um 6 % auf 22,6 Milliarden US$ gegenüber 21,2 Milliarden US$ im Vorjahresquartal und im Jahresvergleich um 3 % auf 91,4 Milliarden US$ gegenüber 88,9 Milliarden US$ im Vorjahr.

2. Electronic Art Inc.  (EA )

Ein weiteres Unternehmen im Unterhaltungsbereich, das bemerkenswerte Arbeit mit Augmented‑Reality‑Technologien leistet und die Gesichtserkennung deutlich verbessert, ist Electronic Arts oder EA. Das Unternehmen präsentierte auf der SIGGRAPH Asia 2024 in Tokio, Japan, die Theorie der Stabilisierung durch Schädelbearbeitung.

Das Unternehmen war der Ansicht, dass die präzise Stabilisierung von Gesichtsbewegungen entscheidend für die Erstellung fotorealistischer Avatare für 3D‑Spiele, virtuelle Realität, Filme und maschinelles Lern‑Training ist. Besonders im letzten Fall glaubte das Unternehmen, dass die Gesichts‑Stabilisierung schnell und automatisch funktionieren muss, wenn die Quelldaten aus einer Population von Menschen mit unterschiedlicher Morphologie stammen. 

Die Präsentatoren von EA hielten es für entscheidend, starre Schädelbewegungen von Gesichtsausdrücken zu unterscheiden, da eine Fehljustierung zwischen Schädelbewegung und Gesichtsausdruck zu einem Animationsmodell führen könnte, das schwer zu steuern und für natürlich wirkende Bewegungen ungeeignet ist.

All dies war jedoch schwer zu erreichen, weil bestehende Stabilisierungsmethoden einige Nachteile aufwiesen. Diese Methoden hatten Schwierigkeiten, mit spärlichen Sätzen sehr unterschiedlicher Ausdrücke zu arbeiten, etwa wenn mehrere Einheiten aus einem Facial Action Coding System (FACS) kombiniert wurden. Während es andere Methoden gab, fanden das EA‑Team diese nicht ausreichend robust.

Als Lösung nutzte das EA‑Team die neuesten Fortschritte in neuronalen Signed‑Distance‑Fields und differenzierbarer Isosurface‑Meshing, um starre Transformations‑Stabilisierungen des Schädels direkt auf unstrukturierten Dreiecks‑Meshes oder Punktwolken zu berechnen. Ihr Ansatz verbesserte die Genauigkeit und Robustheit erheblich.

Das Team hörte hier nicht auf. Es führte das Konzept eines „stable hull“ (stabiler Hülle) ein, das die Oberfläche der booleschen Schnittmenge stabilisierter Scans darstellt, analog zum „visual hull“ (bei Shape‑from‑Silhouette) und dem „photo hull“ (bei Space‑Carving). Die stabile Hülle ähnelt einem Schädel, überlagert mit minimaler Weichteildicke, wobei die oberen Zähne automatisch einbezogen werden. 

Das Team behauptete, dass ihr Schädel‑Carving‑Algorithmus gleichzeitig die Form der stabilen Hülle und starre Transformations‑Parameter optimiert, um eine genaue Stabilisierung komplexer Ausdrücke für eine vielfältige Gruppe von Personen zu erreichen und damit bestehende Methoden übertrifft.

EA setzt seit langem auf den gezielten Einsatz von AR. Im Jahr 2017 bezeichnete der EA‑CEO AR als „interessanter“. Er führte Cranium Technology in EA SPORTS FC™ 25 ein. Die Technologie bot präzise Kontrolle über viele Aspekte des Kopfmodells des Spielcharakters.

Nutzer konnten diese Technologie für Sculpting und Texturen einsetzen, um das Kopfmodell eines Charakters mit dem Geist eines Schöpfers zu gestalten. Sie bot den Nutzern mehr als nur Formgebung – sie ermöglichte die Animation des Gesichts des Nutzers, um sich natürlich zu bewegen, und steigerte damit Immersion und Realismus. 

Laut dem zuletzt verfügbaren Finanzbericht beliefen sich die Netto‑Buchungen von EA für das dritte Quartal des Geschäftsjahres 25 auf US$2,215 Milliarden.

„Der Rekorderfolg unseres EA SPORTS FC 25 Team of the Year‑Events demonstriert die Fähigkeit unserer Kreativteams, sich anzupassen, zu innovieren und in großem Maßstab umzusetzen“, sagte Andrew Wilson, CEO von Electronic Arts.

Facial Projection Mapping: Fortlaufende Forschung, konsistente Verbesserung

Die transformative Forschung zur Facial Projection Mapping‑Technologie, mit der wir unseren Artikel begannen, wurde nicht an einem Tag erreicht. Sie führt eine lange Tradition der Forschung in diesem Bereich fort.

Zum Beispiel veröffentlichten 2021 Forscher der School of Engineering, Tokyo Institute of Technology, ein Papier mit dem Titel ‘High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

In ihren einleitenden Bemerkungen räumten die Forscher ein, dass dynamisches Projektions‑Mapping für ein sich bewegendes Objekt, basierend auf dessen Position und Form, grundlegend dafür sei, dass Augmented Reality Änderungen auf einer Zieloberfläche nachahmt.

Sie befassten sich speziell mit der Erweiterung der menschlichen Armoberfläche mittels dynamischem Projektions‑Mapping, das Anwendungen in Mode, Benutzeroberflächen, Prototyping, Bildung, medizinischer Assistenz und anderen Bereichen verbessern könnte. Sie identifizierten jedoch einige Nachteile.

Sie stellten fest, dass konventionelle Methoden die Hautdeformation vernachlässigten und eine hohe Latenz zwischen Bewegung und Projektion aufwiesen, was zu auffälligen Fehljustierungen zwischen der Ziel‑Armoberfläche und den projizierten Bildern führte.

Als Lösung schlugen die Forscher ein System für Hochgeschwindigkeits‑dynamisches Projektions‑Mapping auf einen schnell bewegenden menschlichen Arm mit realistischer Hautdeformation vor. Mit dem entwickelten System nahm der Nutzer keine Fehljustierung zwischen der Armoberfläche und den projizierten Bildern wahr.

Um ihre Aufgabe zu erfüllen, kombinierten die Forscher zunächst ein hochmodernes parametrisches deformierbares Oberflächenmodell mit effizienter, regressionsbasierter Genauigkeitskompensation, um Hautdeformation darzustellen und modifizierten die Texturkoordinaten, um eine schnelle und präzise Bildgenerierung für das Projektions‑Mapping basierend auf Gelenk‑Tracking zu erreichen.

Als zweiter Schritt entwickelten die Forscher ein Hochgeschwindigkeits‑System, das eine Latenz zwischen Bewegung und Projektion von unter 10 ms bereitstellte, was für das menschliche Auge im Allgemeinen nicht wahrnehmbar war. 

Ähnliche Forschung wurde 2017 von einem Forscherteam durchgeführt. Das Team hatte Mitarbeitende von Disney Research, Princeton University, Chalmers University und Osaka University. Die Forschung trug den Titel ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

Im Papier stellten die Forscher das erste System für die Live‑Dynamik‑Augmentation von menschlichen Gesichtern vor. Durch projektorbasierte Beleuchtung veränderten sie das Aussehen von menschlichen Darstellern während neuartiger Aufführungen. Die zentrale Herausforderung der Live‑Augmentation war jedoch die Latenz.

Ein Bild wurde basierend auf einer bestimmten Pose erzeugt, aber zum Zeitpunkt der Projektion auf einer anderen Gesichts­konfiguration angezeigt. Das von den Forschern vorgeschlagene System zielte darauf ab, die Latenz in jedem Schritt des Prozesses zu reduzieren – von der Erfassung über die Verarbeitung bis zur Projektion. 

Durch Infrarot‑Beleuchtung erkannte eine optisch und rechnerisch ausgerichtete Hochgeschwindigkeits‑Kamera die Gesichtsorientierung sowie den Ausdruck. Die geschätzten Ausdrucks‑Blend‑Shapes wurden auf einen niedrigdimensionalen Raum abgebildet, und die Gesichtsbewegung sowie nicht‑starre Deformation wurden geschätzt, geglättet und mittels adaptiver Kalman‑Filterung vorhergesagt. Schließlich wurde das gewünschte Erscheinungsbild erzeugt, indem vorab berechnete Offset‑Texturen entsprechend Zeit, globaler Position und Ausdruck interpoliert wurden. 

Die Forscher evaluierten ihr System mittels eines optimierten CPU‑ und GPU‑Prototyps und demonstrierten eine erfolgreiche Low‑Latency‑Augmentation für verschiedene Darsteller und Aufführungen mit variierendem Gesichts‑Spiel und Bewegungsgeschwindigkeit.

Die Forscher behaupteten, im Gegensatz zu bestehenden Methoden, dass ihr vorgestelltes System die erste Methode sei, die dynamisches Facial Projection Mapping vollständig unterstützt, ohne dass physische Tracking‑Marker erforderlich sind, und Gesichtsausdrücke integriert.

Facial Projection Mapping und die Forschung zur Erreichung stabilisierter Ausgaben ohne Latenz und Fehljustierung sind nicht neu. Forscher verfolgen diesen Weg konsequent wegen seiner transformativen Möglichkeiten. Die neueste DFPM‑Technik ist zweifellos ein Durchbruch und wird dazu beitragen, die Unterhaltung mit verbesserten Leistungsaspekten neu zu gestalten. 

Klicken Sie hier für eine Liste der Top‑Aktien im Bereich Augmented Reality & Virtual Reality.

Studienreferenz:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually‑Aligned Dynamic Facial Projection Mapping by High‑Speed Face‑Tracking Method and Lens‑Shift Co‑Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128