Omdefinere underholdningsindustrien med dynamisk ansiktsprojeksjonskartlegging

Utvidet virkelighet, eller AR, har allerede vist sin revolusjonerende verdi for underholdningsindustrien. Det brukes i spill, filmer, live‑arrangementer, fornøyelsesparker, museer og utstillinger, teater og forestillinger, TV, reklame, sosiale medier, e‑sport, turisme, mote, kunst, musikk og dans, og til og med tegneserier og grafiske romaner eller magishow.

Et markedssanslag antyder at AR‑ og VR‑markedet for underholdningsindustrien kan nå 30 milliarder USD innen 2030, med en CAGR på nesten 19 % i prognoseperioden 2024–2030.

Rapporten identifiserte flere drivkrefter som førte til vekst for AR i underholdning. For eksempel hjalp bruk av AR innholdsskapere med å lage oppslukende fortellinger som visket ut grensene mellom virkelighet og fiksjon, og inspirerte publikum til å bli aktive deltakere i historiefortelling og styrket engasjement og emosjonell tilknytning. AR og VR bidro også til å bygge personlige opplevelser skreddersydd til individuelle preferanser.

Ved å kombinere dataanalyse med AR kunne underholdningsselskaper tilpasse innhold, anbefalinger og til og med annonser. Men dette er bare spissen av isfjellet.

AR kan oppnå mye mer med spesifikke teknologiske innovasjoner. I det kommende segmentet diskuterer vi en slik banebrytende innovasjon som involverer en teknologi kalt DFPM, Dynamic Facial Projection Mapping. 

DFPM: Hva er det?

Det er en ny augmented reality‑teknikk hvor bilder projiseres på menneskelige ansikter og endrer deres sanntidsutseende. Med andre ord innebærer metoden å projisere dynamiske visuelle elementer på en persons ansikt i sanntid, ved bruk av avansert ansiktssporing for å sikre at projeksjonene tilpasser seg sømløst til bevegelser og uttrykk.

Kilde: Disney Research

Selv om teknologien har enormt potensial og kan bidra til store sprang innen kunstnerisk fantasi, lider teknikken av tekniske utfordringer. Kort sagt kan dette problemet sees som et problem med feiljustering. 

En ny studie publisert i tidsskriftet til Institute of Electrical and Electronics Engineers¹ tar for seg problemet med feiljustering. Men før vi går dypere inn i løsningen, la oss se på hva problemet er.

Klikk her for å lære om investering i fremtiden for virtuell virkelighet.

Problemet med feiljustering ved implementering av DFPM

Å projisere visuelle elementer på et bevegelig ansikt krever at DFPM‑systemet oppdager brukerens ansiktsfunksjoner, som øyne, nese og munn, på under ett millisekund. Selv små forsinkelser i behandlingen eller minimale feiljusteringer mellom kamera‑ og projektor‑bildekoordinatene kan føre til projeksjonsfeil – eller «feiljusteringsartefakter». Dette er merkbare feil som kan svekke innlevelsen. Det kan gå så langt at innlevelsen ødelegges.

Et team av forskere fra Institute of Science Tokyo, Japan, satte seg fore å finne løsninger på eksisterende utfordringer i DFPM. Ledet av førsteamanuensis Yoshihiro Watanabe, inkluderte teamet også doktorgradsstudent Mr. Hao‑Lun Peng. I deres studie foreslo de konsepter for å redusere «feiljusteringsartefakter». 

To forslag for å redusere «feiljusteringsartefakter»

Papiret av de to forskerne fra Tokyo har en lang tittel, noe som er vanlig for slike papirer. Men problemet det tar for seg er enkelt å forstå. Det – som nevnt tidligere – har som mål å redusere feiljusteringsartefakter mellom projiserte bilder og målansikter, noe som er en vedvarende utfordring for DFPM, mener forskerne.

Forskerne lagde to forslag for å oppnå sitt mål. Det første konseptet foreslo en høyhastighets ansiktssporingsmetode som ville utnytte tidsinformasjon. I deres arbeid introduserte forskerne først et beskjært‑område‑begrenset inter‑/ekstrapolasjon‑basert ansiktsdeteksjonsrammeverk, som tillot parallell utførelse med ansiktslandemerke‑deteksjon. 

Forskerne foreslo deretter en ny hybridmetode for ansiktslandemerke‑deteksjon som kombinerte rask Ensemble of Regression Trees (ERT)‑basert deteksjon og en hjelpe‑deteksjon. ERT‑baserte deteksjoner ga raske resultater på 0,107 ms ved bruk av tidsinformasjon med støtte fra den hjelpsomme deteksjonen for å komme seg fra deteksjonsfeil. 

For å trene ansiktslandemerke‑deteksjonsmetoden foreslo forskerne en innovativ metode for å simulere høy‑rammehastighets video‑annotasjoner for å løse mangelen på offentlig tilgjengelige høy‑rammehastighets annoterte datasett.

Det andre konseptet involverte en linse‑skift ko‑aksial projektor‑kamera‑oppsett som kunne opprettholde høy optisk justering med kun 1,274‑pixel feil mellom 1 m og 2 m dybde, og reduserte feiljustering ved å bruke samme optiske design på projektor og kamera uten å forårsake stor feiljustering som i konvensjonelle metoder.

Implementeringen av disse konseptene kan føre forskerne til å utvikle et nytt høyhastighets DFPM‑system som oppnår nesten perfekt justering med menneskelig visuell persepsjon.

Klikk her for en liste over selskaper som redefinerer AR/VR‑fronten.

Resultatene oppsummert

Hvis vi flytter fokuset bort fra de høyt teknologiske aspektene ved forskningen for å prøve å forstå hva den kan oppnå fra et anvendelsesperspektiv, vil funnene være som følger:

Det foreslåtte oppsettet kan føre til eksepsjonelt høy optisk justering med mindre enn 1,3‑pixel feil ved en dybde på 1–2 m. Oppsettet ga raskere prosessering og førte til høy nøyaktighet i dynamiske scenarier. 

I tillegg, under prosessen, utviklet forskerne en metode for å simulere høyhastighets video‑annotasjoner for å trene modellene. 

Alt i alt bør resultatene bidra til å bygge mer engasjerende og hyperrealistiske effekter for live‑forestillinger, moteshow og kunstpresentasjoner. 

Mens forskerne vil fortsette å bringe mer presisjon til teknologien og dens anvendelse i underholdningsindustrien, gjør også bedrifter forbedringer de anser som nødvendige for å forbedre sine tilbud. 

I de kommende segmentene ser vi på to selskaper som har gjort betydelige fremskritt i området hvor AR og underholdning møtes. 

1. Walt Disney

Rapporter publisert i november i fjor antydet at Disney hadde opprettet en ny strategisk gruppe for å administrere og koordinere hvordan selskapet utviklet og implementerte neste generasjons teknologi – som kunstig intelligens og mixed reality. Gruppen ble kalt Office of Technology Enablement.

Jamie Voris, som hadde vært CTO for Walt Disney (DIS ) (WDP.DE ) Studios i 14 år, ble valgt til å lede den nyopprettede avdelingen. Voris, i den nye rollen, skulle rapportere til Disney Entertainment med‑styreleder Alan Bergman. 

I et internt notat – som ble distribuert før lanseringen av den nye avdelingen – hadde Bergman følgende å si:

“Vår evne til å forbli i frontlinjen av teknologiske fremskritt vil bare bli enda viktigere etter hvert som vi går videre – noe som gjør det enda viktigere å forstå og omfavne nye teknologiske skifter på måter som gjør det mulig for våre folk, kreativitet og virksomhet.”

I samme notat sa Bergman at Office of Technology Enablement hadde som oppgave å sikre at Disney var «en progressiv, innovativ og ansvarlig leder» innen AI og mixed reality. 

Mer viktig er at Bergman innrømmet at tempoet og omfanget av fremskritt innen utvidet virkelighet, som inkluderer AR som en av de mest betydningsfulle komponentene, er dyptgående og vil fortsette å påvirke Disneys forbrukeropplevelser, kreative bestrebelser og forretningsdrift i årene som kommer. 

Eksperter og bransjeanalytikere mener at Disneys utnyttelse av disse teknologiene vil være flerfasettert. Utforskningen vil spenne over deres ulike forretningsdivisjoner.

Innen temaparksektoren, for eksempel, samler selskapet et dedikert team for å undersøke hvordan AR og VR kan forbedre besøksopplevelser, i tråd med bredere bransjetrender. I et foreslått ledelsesinitiativ har også Kyle Laughlin nylig returnert til Disney.

Som ny senior visepresident for forskning og utvikling i Walt Disney Imagineering, mener eksperter at Kyle sin bakgrunn innen AR, VR og AI posisjonerer ham godt til å drive innovasjon i temaparkattraksjoner. 

Når det gjelder spesifikke bruksområder for ansiktsgjenkjenningsteknologi, antydet rapporter fra desember 2021 at Disney Corporation testet bruk av ansiktsgjenkjenningsprogramvare for å sjekke besøkende som ankommer Disney World temapark i Florida – kjent som Magic Kingdom. 

Den automatiserte merkings‑pipeline som ble laget for Disneys innholdslager var utstyrt med ansikts‑deteksjon og gjenkjenningsmoduler som ble brukt på Disneys innholdsbibliotek (programmer, filmer osv.). 

Den 28. september 2024 rapporterte The Walt Disney Company (NYSE: DIS) sitt fjerde kvartal og helårsresultat. Inntektene økte med 6 % for Q4 til 22,6 milliarder USD fra 21,2 milliarder USD i samme kvartal året før, og med 3 % for året til 91,4 milliarder USD fra 88,9 milliarder USD året før.

2. Electronic Art Inc.  

Et annet selskap i underholdningssektoren som har gjort fantastisk arbeid med utvidet virkelighetsteknologier og forbedrer ansiktsgjenkjenning betydelig er Electronic Arts (EA ) eller EA. Selskapet presenterte på SIGGRAPH Asia 2024, holdt i Tokyo, Japan, teorien om stabilisering ved hodeskallekutting. 

Selskapet mente at nøyaktig stabilisering av ansiktsbevegelse var essensiell for å skape fotorealistiske avatarer for 3D‑spill, virtuell virkelighet, filmer og maskinlærings‑treningsdata. Spesielt i det siste tilfellet mente selskapet at ansiktsstabilisering måtte fungere raskt og automatisk når kildedataene var en befolkning av personer med varierende morfologi. 

Presentatørene fra EA mente det var kritisk å skille stive hodeskallebevegelser fra ansiktsuttrykk siden feiljustering mellom hodeskallebevegelse og ansiktsuttrykk kunne resultere i en animasjonsmodell som var vanskelig å kontrollere og ikke egnet for naturlig bevegelse.

Imidlertid var alt dette vanskelig å oppnå fordi eksisterende stabiliseringsmetoder hadde noen ulemper. Disse metodene slet med å fungere med sparsomme sett av svært forskjellige uttrykk, som når man kombinerer flere enheter fra et ansikts‑handlingskodingssystem (FACS). Selv om det fantes andre metoder, fant EA‑teamet dem utilstrekkelig robuste.

Som en løsning utnyttet EA‑teamet de nyeste fremskrittene innen nevrale signerte avstandsfelt og differensierbar isosurface‑meshing for å beregne hodeskalle‑stabiliserings‑rigide transformasjoner direkte på ustrukturerte trekant‑nett eller punkt‑skyer. Tilnærmingen deres bidro betydelig til å forbedre nøyaktighet og robusthet.

Teamet stoppet ikke der. Det introduserte konseptet en «stabil hylse» som overflaten av den boolske intersecten av stabiliserte skanninger, analogt med «visuell hylse» (i shape‑from‑silhouette) og «foto‑hylse» (i rom‑skjæring). Den stabile hylsen ligner en hodeskalle overlagt med minimal mykt vev‑tykkelse, og de øvre tennene inkluderes automatisk. 

Teamet hevdet at deres hodeskalle‑kutte‑algoritme samtidig optimaliserer den stabile hylsens form og rigide transformasjoner for å oppnå nøyaktig stabilisering av komplekse uttrykk for et mangfoldig sett av personer, og overgår eksisterende metoder.

EA har lenge vært tilhenger av å bruke AR på en klok måte. Tilbake i 2017 kalte EA‑administrerende direktør AR for «mer interessant». Det introduserte Cranium Technology i EA SPORTS FC™ 25. Teknologien tilbød presis kontroll over mange aspekter av spillkarakterens hode‑modell.

Brukere kunne bruke denne teknologien for skulptur og teksturer for å designe en karakters hode‑modell med en skapende ånd. Den tilbød brukerne mer enn bare formgivning – den tillot animasjon av brukerens ansikt for å bevege seg naturlig, og økte innlevelse og realisme. 

Ifølge den siste tilgjengelige finansrapporten, var EA sine netto‑bestillinger for Q3 FY25 på US$2.215 billion.

“Den rekordstore suksessen med vårt EA SPORTS FC 25 Team of the Year‑arrangement demonstrerer våre kreative team sin evne til å tilpasse seg, innovere og levere i stor skala,” sa Andrew Wilson, administrerende direktør i Electronic Arts.

Ansiktsprojeksjonskartlegging: Fortsatt forskning, jevn forbedring

Den transformative teknologien for ansiktsprojeksjonskartlegging som vi startet artikkelen med, ble ikke oppnådd på en dag. Den bygger videre på en lang tradisjon med forskning på dette feltet.

For eksempel, i 2021 publiserte forskere fra School of Engineering, Tokyo Institute of Technology et papir med tittelen ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

I sine innledende bemerkninger innrømmet forskerne at dynamisk projeksjonskartlegging for et bevegelig objekt i henhold til posisjon og form var grunnleggende for at utvidet virkelighet skulle kunne etterligne endringer på en måloverflate.

De fokuserte spesielt på å forsterke overflaten av menneskelig arm via dynamisk projeksjonskartlegging som kunne forbedre anvendelser innen mote, brukergrensesnitt, prototyping, utdanning, medisinsk assistanse og andre felt. Imidlertid identifiserte de noen ulemper.

De fant at konvensjonelle metoder overså huddeformasjon og hadde høy latens mellom bevegelse og projeksjon, noe som førte til merkbar feiljustering mellom målarmens overflate og projiserte bilder.

Som en løsning foreslo forskerne et system for høyhastighets dynamisk projeksjonskartlegging på en raskt bevegende menneskelig arm med realistisk huddeformasjon. Med det utviklede systemet opplevde brukeren ingen feiljustering mellom armens overflate og projiserte bilder.

For å gjennomføre oppgaven kombinerte forskerne først en toppmoderne parametrisk deformabel overflatemodell med effektiv regresjonsbasert nøyaktighetskompensasjon for å representere huddeformasjon og endret teksturkoordinatene for å oppnå rask og nøyaktig bilde‑generering for projeksjonskartlegging basert på leddsporing.

Som et andre steg utviklet forskerne et høyhastighetssystem som ga en latens mellom bevegelse og projeksjon på under 10 ms, noe som generelt er umerkelig for det menneskelige øyet. 

Lignende forskning ble utført av et team av forskere i 2017. Teamet hadde samarbeidspartnere fra Disney Research, Princeton University, Chalmers University, og Osaka University. Forskningen hadde tittelen ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

I papiret foreslo forskerne det første systemet for live dynamisk forsterkning av menneskelige ansikter. Ved bruk av projektorbasert belysning endret de utseendet til menneskelige utøvere under nye forestillinger. Hovedutfordringen med live‑forsterkning var imidlertid latens.

Et bilde ble generert i henhold til en spesifikk posisjon, men ble vist på en annen ansiktskonfigurasjon når det ble projisert. Systemet som forskerne foreslo hadde som mål å redusere latens i hvert trinn av prosessen, fra opptak gjennom behandling til projeksjon. 

Ved å bruke infrarød belysning oppdaget et optisk og beregningsmessig justert høyhastighetskamera ansiktsorientering samt uttrykk. De estimerte uttrykks‑blandingsformer ble kartlagt til et lavere dimensjonalt rom, og ansiktsbevegelse og ikke‑rigid deformasjon ble estimert, jevnet og forutsagt gjennom adaptiv Kalman‑filtrering. Til slutt ble ønsket utseende generert ved å interpolere forhåndsberegnede offset‑teksturer i henhold til tid, global posisjon og uttrykk. 

Forskerne evaluerte systemet gjennom en optimalisert CPU‑ og GPU‑prototype og demonstrerte vellykket lav‑latens forsterkning for ulike utøvere og forestillinger med varierende ansiktslek og bevegelseshastighet.

Forskerne hevdet, i motsetning til eksisterende metoder, at deres presenterte system var den første metoden som fullt støttet dynamisk ansiktsprojeksjonskartlegging uten behov for fysiske sporingsmarkører og inkluderte ansiktsuttrykk.

Ansiktsprojeksjonskartlegging og forskning for å oppnå stabilisert output uten latens og feiljustering er ikke nytt. Forskere har lenge forfulgt denne veien på grunn av dens transformative muligheter. Den nyeste DFPM‑teknikken er absolutt et gjennombrudd og vil bidra til å omdefinere underholdning med forbedrede ytelsesaspekter. 

Klikk her for en liste over de beste aksjene innen utvidet virkelighet og virtuell virkelighet.

Studierreferanse:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually-Aligned Dynamic Facial Projection Mapping by High-Speed Face-Tracking Method and Lens-Shift Co-Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128