De entertainmentindustrie herdefiniëren met dynamische gezichtsprojectie‑mapping

Augmented Reality, of AR, heeft al bewezen revolutionair te zijn voor de entertainmentindustrie. Het wordt gebruikt in gaming, films, live‑evenementen, pretparken, musea en tentoonstellingen, theater en voorstellingen, televisie, reclame, sociale media, e‑sports, toerisme, mode, kunst, muziek en dans, en zelfs strips en graphic novels of goochelshows. 

Een marktinschatting suggereert de AR & VR‑markt voor de entertainmentindustrie kan tegen 2030 US$30 miljard bereiken, met een CAGR van bijna 19 % gedurende de prognoseperiode 2024‑2030.

Het rapport identificeerde verschillende drijvende factoren die leidden tot groei van AR in entertainment. Bijvoorbeeld, het inzetten van AR hielp contentmakers meeslepende verhalen te creëren die de grenzen tussen realiteit en fictie vervaagden, waardoor het publiek werd geïnspireerd om actieve deelnemers aan het verhaal te worden en de betrokkenheid en emotionele verbinding werden versterkt. AR en VR hielpen ook gepersonaliseerde ervaringen op te bouwen die waren afgestemd op individuele voorkeuren.

Door data‑analytics te combineren met AR konden entertainmentbedrijven content, aanbevelingen en zelfs advertenties op maat maken. Maar dit is slechts het topje van de ijsberg.

AR kan veel meer bereiken met specifieke technologische innovaties. In het komende segment bespreken we zo’n baanbrekende innovatie die een technologie genaamd DFPM, Dynamic Facial Projection Mapping, omvat. 

DFPM: Wat is het?

Het is een nieuwe augmented‑reality‑techniek waarbij beelden op menselijke gezichten worden geprojecteerd, waardoor hun uiterlijk in realtime wordt veranderd. Met andere woorden, de methode omvat het projecteren van dynamische visuals op het gezicht van een persoon in realtime, met geavanceerde gezichts‑tracking om ervoor te zorgen dat de projecties naadloos aanpassen aan bewegingen en uitdrukkingen.

Bron: Disney Research

Hoewel de technologie enorm potentieel heeft en kan helpen om grote sprongen te maken in de artistieke verbeelding, kampt de techniek met technische uitdagingen. Kortom, dit probleem kan worden gezien als het probleem van verkeerde uitlijning. 

Een nieuwe studie gepubliceerd in het tijdschrift van het Institute of Electrical and Electronics Engineers¹ behandelt het probleem van verkeerde uitlijning. Maar, voordat we dieper ingaan op de oplossing, laten we eerst bekijken wat het probleem is.

Klik hier om meer te leren over investeren in de toekomst van virtual reality.

Het probleem van verkeerde uitlijning bij het inzetten van DFPM

Het projecteren van beelden op een bewegend gezicht vereist dat het DFPM‑systeem de gezichtskenmerken van de gebruiker, zoals ogen, neus en mond, detecteert binnen minder dan een milliseconde. Zelfs kleine vertragingen in de verwerking of minuscule verkeerde uitlijningen tussen de beeldcoördinaten van de camera en de projector kunnen leiden tot projectiefouten – ofwel “misalignment‑artefacten”. Dit zijn merkbare fouten die de kwaliteit van de onderdompeling kunnen ondermijnen. Het kan zelfs zo ver gaan dat de onderdompeling wordt verpest.

Een team van onderzoekers van het Institute of Science Tokyo, Japan, zette zich in om oplossingen te vinden voor de bestaande uitdagingen in DFPM. Onder leiding van universitair hoofddocent Yoshihiro Watanabe omvatte het team ook promovendus de heer Hao‑Lun Peng. In hun studie stelden ze concepten voor om de ‘misalignment‑artefacten’ te verminderen. 

Twee voorstellen om ‘misalignment‑artefacten’ te verminderen

Het artikel van de twee onderzoekers uit Tokio heeft een lange titel, wat gebruikelijk is voor dergelijke publicaties. Maar het probleem dat het behandelt is eenvoudig te begrijpen. Het – zoals eerder vermeld – probeert de misalignment‑artefacten tussen geprojecteerde beelden en doelgezichten te verminderen, wat volgens de onderzoekers een hardnekkige uitdaging voor DFPM is.

Onderzoekers deden twee voorstellen om hun doel te bereiken. Het eerste concept stelde een high‑speed gezichts‑trackingmethode voor die gebruik zou maken van temporele informatie. In hun inspanningen introduceerden de onderzoekers eerst een op een bijgesneden gebied beperkt inter-/extrapolatie‑gebaseerd gezichtsdetectiekader, dat parallelle uitvoering met gezichtslandmarkdetectie mogelijk maakte. 

De onderzoekers stelden vervolgens een nieuw hybride gezichtslandmarkdetectiemethode voor die snelle Ensemble of Regression Trees (ERT)‑gebaseerde detecties combineerde met een auxiliaire detectie. ERT‑gebaseerde detecties leverden snelle resultaten in 0,107 ms met behulp van temporele informatie, ondersteund door de auxiliaire detectie om te herstellen van detectiefouten. 

Om de gezichtslandmarkdetectiemethode te trainen, stelden de onderzoekers een innovatieve methode voor om annotaties van video’s met hoge framesnelheid te simuleren, om het gebrek aan publiek beschikbare datasets met hoge framesnelheid te compenseren.

Het tweede concept betrof een lens‑shift coaxiale projector‑camera‑opstelling die een hoge optische uitlijning kon behouden met slechts een fout van 1,274 pixel tussen een diepte van 1 m en 2 m, waardoor misalignment werd verminderd door dezelfde optische ontwerpen op zowel projector als camera toe te passen zonder de grote uitlijning fouten die bij conventionele methoden voorkomen.

De implementatie van deze concepten zou onderzoekers kunnen leiden tot de ontwikkeling van een nieuw high‑speed DFPM‑systeem dat bijna perfecte uitlijning met de menselijke visuele perceptie bereikt.

Klik hier voor een lijst van bedrijven die de AR/VR‑frontier opnieuw definiëren.

De prestaties samengevat

Als we onze focus verleggen van de sterk technologische aspecten van het onderzoek om te proberen te begrijpen wat het kan bereiken vanuit een toepassingsperspectief, zijn de bevindingen als volgt:

De voorgestelde opstelling kan leiden tot uitzonderlijk hoge optische uitlijning met minder dan 1,3 pixel fout op een diepte van 1‑2 m. De opstelling bood snellere verwerking en resulteerde in hoge nauwkeurigheid in dynamische scenario’s. 

Bovendien ontwikkelden de onderzoekers tijdens het proces een methode om high‑speed video‑annotaties te simuleren voor het trainen van de modellen. 

Al met al zouden de resultaten moeten helpen bij het creëren van meer overtuigende en hyperrealistische effecten voor live‑optredens, modeshows en artistieke presentaties. 

Terwijl onderzoekers blijven streven naar meer precisie in de technologie en de toepassing ervan in de entertainmentindustrie, doen bedrijven ook verbeteringen die zij passend en noodzakelijk achten om hun aanbod te verbeteren. 

In de komende segmenten bekijken we twee bedrijven die aanzienlijke vooruitgang hebben geboekt op het gebied waar AR en entertainment samenkomen. 

1. Walt Disney

Rapporten gepubliceerd in november vorig jaar suggereerden dat Disney een nieuwe strategische groep had gecreëerd om te beheren en coördineren hoe het bedrijf next‑generation technologieën ontwikkelde en inzet – zoals kunstmatige intelligentie en mixed reality. Het werd het Office of Technology Enablement genoemd.

Jamie Voris, die 14 jaar als CTO van Walt Disney (DIS ) (WDP.DE ) Studios had gediend, werd gekozen om het nieuw gevormde departement te leiden. Voris zou in de nieuwe rol rapporteren aan Disney Entertainment mede‑voorzitter Alan Bergman. 

In een interne memo – een die werd verspreid vóór de lancering van de nieuwe divisie – had Bergman het volgende te zeggen:

“Ons vermogen om aan de voorhoede van technologische vooruitgang te blijven, zal alleen maar belangrijker worden naarmate we vooruitgaan — waardoor het des te belangrijker wordt om nieuwe technologische verschuivingen te begrijpen en te omarmen op manieren die ons personeel, creativiteit en bedrijf in staat stellen.”

In diezelfde memo zei Bergman dat het Office of Technology Enablement de taak had om ervoor te zorgen dat Disney een \”progressieve, innovatieve en verantwoordelijke leider\” is op het gebied van AI en mixed reality. 

Meer nog, Bergman gaf toe dat het tempo en de reikwijdte van de vooruitgang in extended reality, die AR als een van de belangrijkste componenten omvat, zijn diepgaand en zullen de consumentenervaringen, creatieve inspanningen en het bedrijfsleven van Disney jarenlang blijven beïnvloeden. 

Experts en branche‑analisten geloven dat Disney’s gebruik van deze technologieën veelzijdig zal zijn. De verkenning zal zich uitstrekken over de verschillende bedrijfsdivisies.

In de pretparksector bijvoorbeeld, stelt het bedrijf een toegewijd team samen om te onderzoeken hoe AR en VR de bezoekerservaringen kunnen verbeteren, in lijn met bredere branchetrends. In een suggestieve leiderschapszetting is Kyle Laughlin recent teruggekeerd naar Disney.

Als de nieuwe senior vice‑president research and development voor Walt Disney Imagineering, geloven experts dat Kyle’s achtergrond in AR, VR en AI hem goed positioneert om innovatie in pretpark‑attracties te stimuleren. 

Wat specifieke toepassingen van gezichtsherkenningstechnologie betreft, suggereerden rapporten uit december 2021 dat Disney Corporation experimenteerde met het gebruik van gezichtsherkenningssoftware om bezoekers die aankwamen bij haar Disney World pretpark in Florida – bekend als het Magic Kingdom – te controleren.

De geautomatiseerde tagging‑pipeline die voor Disney’s content‑repository werd gecreëerd, was uitgerust met gezichtsdetectie‑ en herkenningsmodules die werden toegepast op Disney’s bibliotheek van content (shows, films, enz.). 

Op 28 september 2024, The Walt Disney Company (NYSE: DIS) reported its fourth quarter and full-year earnings. Revenues increased 6% for Q4 to $22.6 billion from $21.2 billion in the prior-year quarter and 3% for the year to $91.4 billion from $88.9 billion in the prior year.

2. Electronic Art Inc.  

Een ander bedrijf in de entertainmentsector dat indrukwekkend werk heeft verricht met augmented‑reality‑technologieën en de gezichtsherkenning aanzienlijk verbetert, is Electronic Arts (EA ) of EA. Het bedrijf presenteerde op SIGGRAPH Asia 2024, gehouden in Tokio, Japan, over de theorie van stabilisatie door schedelgravure.

Het bedrijf geloofde dat nauwkeurig stabiliseren van gezichtsbewegingen essentieel was voor het creëren van fotorealistische avatars voor 3D‑games, virtual reality, films en machine‑learning trainingsdata. Vooral in het laatste geval vond het bedrijf dat gezichts‑stabilisatie snel en automatisch moest werken wanneer de brondata een populatie van mensen met verschillende morfologieën betrof. 

De presentatoren van EA vonden het cruciaal om rigide schedelbewegingen te onderscheiden van gezichtsuitdrukkingen, aangezien misalignment tussen schedelbewegingen en gezichtsuitdrukkingen kan leiden tot een animatiemodel dat moeilijk te controleren is en ongeschikt voor natuurlijk ogende bewegingen.

Echter, dit alles was moeilijk te realiseren omdat bestaande stabilisatiemethoden enkele nadelen hadden. Deze methoden worstelden met het werken met schaars samengestelde sets van zeer verschillende uitdrukkingen, zoals bij het combineren van meerdere eenheden uit een facial action coding system (FACS). Hoewel er andere methoden waren, vond het EA‑team ze niet voldoende robuust.

Als oplossing maakte het EA‑team gebruik van de nieuwste ontwikkelingen in neurale signed distance fields en differentiable isosurface meshing om rigide transformaties voor schedelstabilisatie direct op ongestructureerde driehoeks‑meshes of point clouds te berekenen. Hun benadering hielp de nauwkeurigheid en robuustheid aanzienlijk te verbeteren.

Het team stopte daar niet. Het introduceerde het concept van een “stable hull” als het oppervlak van de booleaanse intersectie van gestabiliseerde scans, analoog aan de “visual hull” (bij shape‑from‑silhouette) en de “photo hull” (bij space carving). De stable hull lijkt op een schedel overgoten met een minimale dikte van zacht weefsel, en de bovenste tanden worden automatisch inbegrepen. 

Het team beweerde dat hun schedelgravure‑algoritme gelijktijdig de vorm van de stable hull en rigide transformaties optimaliseert om nauwkeurige stabilisatie van complexe uitdrukkingen voor een diverse groep mensen te verkrijgen, en daarmee bestaande methoden overtreft.

EA heeft al lange tijd een voorstander van het zorgvuldig benutten van AR. In 2017 noemde de CEO van EA AR als ‘meer interessant.’ Het introduceerde Cranium Technology in EA SPORTS FC™ 25. De technologie bood precieze controle over vele aspecten van het hoofdmodel van het game‑personage.

Gebruikers konden deze technologie gebruiken voor sculptuur en texturen om een hoofdmodel van een personage te ontwerpen met de geest van een maker. Het bood gebruikers meer dan alleen vormgeving — het stelde hen in staat om het gezicht van de gebruiker natuurlijk te laten bewegen, waardoor onderdompeling en realisme toenamen. 

Volgens het meest recente beschikbare financiële rapport bedroegen EA’s nettoboekingen voor Q3 FY25 US$2,215 miljard.

“Het recordsucces van ons EA SPORTS FC 25 Team of the Year‑evenement toont het vermogen van onze creatieve teams om zich aan te passen, te innoveren en op schaal uit te voeren,” zei Andrew Wilson, CEO van Electronic Arts.

Gezichtsprojectie‑mapping: Voortdurend onderzoek, consistente verbetering

Het transformerende onderzoek naar gezichtsprojectie‑mappingtechnologie waarmee we ons artikel begonnen, is niet in één dag bereikt. Het zet een lange traditie van onderzoek in dit vakgebied voort.

Bijvoorbeeld, in 2021, publiceerden onderzoekers van de School of Engineering, Tokyo Institute of Technology een paper getiteld ‘High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

In hun inleidende opmerkingen gaven de onderzoekers toe dat dynamische projectie‑mapping voor een bewegend object volgens zijn positie en vorm fundamenteel is voor augmented reality om veranderingen op een doeloppervlak te weerspiegelen.

Ze hielden zich specifiek bezig met het augmenteren van het oppervlak van de menselijke arm via dynamische projectie‑mapping die toepassingen in mode, gebruikersinterfaces, prototyping, onderwijs, medische assistentie en andere gebieden kan verbeteren. Ze identificeerden echter enkele nadelen.

Ze ontdekten dat conventionele methoden huiddeformatie negeerden en een hoge latentie hadden tussen beweging en projectie, waardoor merkbare misalignment ontstond tussen het doelarmoppervlak en de geprojecteerde beelden.

Als oplossing stelden de onderzoekers een systeem voor voor high‑speed dynamische projectie‑mapping op een snel bewegende menselijke arm met realistische huiddeformatie. Met het ontwikkelde systeem merkte de gebruiker geen misalignment tussen het armoppervlak en de geprojecteerde beelden.

Om hun taak te volbrengen, combineerden de onderzoekers eerst een state‑of‑the‑art parametrisch vervormbaar oppervlakmodel met efficiënte regressie‑gebaseerde nauwkeurigheidscompensatie om huiddeformatie te representeren en pasten ze de textuurcoördinaten aan om snelle en nauwkeurige beeldgeneratie voor projectie‑mapping op basis van gewrichtstracking te realiseren.

Als tweede stap ontwikkelden de onderzoekers een high‑speed systeem dat een latentie tussen beweging en projectie van minder dan 10 ms leverde, wat over het algemeen onwaarneembaar is voor het menselijk oog. 

Vergelijkbaar onderzoek werd uitgevoerd door een team van onderzoekers in 2017. Het team had samenwerkingspartners van Disney Research, Princeton University, Chalmers University en Osaka University. Het onderzoek droeg de titel ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

In het artikel stelden de onderzoekers het eerste systeem voor voor live dynamische augmentatie van menselijke gezichten. Met projector‑gebaseerde verlichting wijzigden ze het uiterlijk van menselijke performers tijdens nieuwe optredens. De belangrijkste uitdaging van live augmentatie was echter latentie.

Een afbeelding werd gegenereerd volgens een specifieke pose, maar werd weergegeven op een andere gezichtsconfiguratie tegen de tijd dat deze werd geprojecteerd. Het door de onderzoekers voorgestelde systeem had als doel de latentie te verminderen tijdens elke stap van het proces, van opname tot verwerking tot projectie. 

Met behulp van infraroodverlichting detecteerde een optisch en computationeel uitgelijnde high‑speed camera de gezichtsoriëntatie evenals de uitdrukking. De geschatte blend‑shapes van de uitdrukking werden gemapt naar een lagere-dimensionale ruimte, en de gezichtsbeweging en niet‑rigide vervorming werden geschat, gladgestreken en voorspeld via adaptieve Kalman‑filtering. Ten slotte werd het gewenste uiterlijk gegenereerd door vooraf berekende offset‑texturen te interpoleren op basis van tijd, globale positie en uitdrukking. 

De onderzoekers evalueerden hun systeem via een geoptimaliseerd CPU‑ en GPU‑prototype en toonden succesvolle low‑latency augmentatie voor verschillende performers en optredens met variërende gezichtsbewegingen en bewegingssnelheden.

De onderzoekers beweerden, in contrast met bestaande methoden, dat hun gepresenteerde systeem de eerste methode was die volledige dynamische gezichtsprojectie‑mapping ondersteunde zonder de noodzaak van fysieke tracking‑markers en gezichtsuitdrukkingen integreerde.

Gezichtsprojectie‑mapping en onderzoek om gestabiliseerde output te bereiken zonder latentie en misalignment zijn niet nieuw. Onderzoekers hebben dit pad consequent nagestreefd vanwege de transformerende mogelijkheden. De nieuwste DFPM‑techniek is zeker een doorbraak en zal helpen de entertainmentindustrie opnieuw vorm te geven met verbeterde prestatie‑aspecten. 

Klik hier voor een lijst van top augmented reality & virtual reality‑aandelen.

Studieverwijzing:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually‑Aligned Dynamic Facial Projection Mapping by High‑Speed Face‑Tracking Method and Lens‑Shift Co‑Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1‑15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311‑323. https://doi.org/10.1111/cgf.13128