Genopfindelse af underholdningsindustrien med dynamisk ansigtsprojektion

Augmented Reality, eller AR, har allerede bevist sin revolutionerende værdi for underholdningsindustrien. Det bruges i gaming, film, live‑begivenheder, forlystelsesparker, museer og udstillinger, teater og forestillinger, tv, reklame, sociale medier, e‑sport, turisme, mode, kunst, musik og dans samt endda tegneserier og grafiske romaner eller tryllekunstshows. 

Et markedsskøn antyder at AR & VR‑markedet for underholdningsindustrien kan nå US$30 milliarder i 2030, voksende med en CAGR på næsten 19 % i prognoseperioden 2024‑2030.

Rapporten identificerede flere drivende faktorer, der førte til vækst for AR i underholdning. For eksempel hjalp implementeringen af AR indholdsskabere med at skabe immersive fortællinger, der udviskede grænserne mellem virkelighed og fiktion, inspirerede publikum til at blive aktive deltagere i historiefortælling og styrkede engagement og følelsesmæssig forbindelse. AR og VR hjalp også med at skabe personlige oplevelser skræddersyet til individuelle præferencer.

Ved at udnytte dataanalyse i kombination med AR kunne underholdningsvirksomheder tilpasse indhold, anbefalinger og endda reklamer. Men alt dette kan kun kaldes spidsen af isbjerget.

AR kan opnå meget mere med specifikke teknologiske innovationer. I det kommende afsnit diskuterer vi en sådan banebrydende innovation, der involverer en teknologi kaldet DFPM, Dynamic Facial Projection Mapping. 

DFPM: Hvad er det?

Det er en ny augmented reality‑teknik, hvor billeder projiceres på menneskelige ansigter og ændrer deres udseende i realtid. Med andre ord involverer metoden at projicere dynamiske visuelle elementer på en persons ansigt i realtid ved hjælp af avanceret ansigtssporing, så projektionerne tilpasser sig sømløst til bevægelser og udtryk.

Kilde: Disney Research

Selvom teknologien har enormt potentiale og kan hjælpe med at tage store skridt så langt som kunstnerisk fantasi rækker, lider teknikken under tekniske udfordringer. Kort sagt kan dette problem ses som problemet med fejljustering. 

En ny undersøgelse offentliggjort i tidsskriftet fra Institute of Electrical and Electronics Engineers¹ behandler problemet med fejljustering. Men før vi dykker dybere ned i løsningen, lad os se på, hvad problemet er.

Klik her for at lære om investering i fremtiden for virtual reality.

Problemet med fejljustering ved implementering af DFPM

At projicere visuelle elementer på et bevægende ansigt kræver, at DFPM‑systemet registrerer brugerens ansigtsfunktioner, såsom øjne, næse og mund, på under et millisekund. Selv små forsinkelser i behandlingen eller minimale fejljusteringer mellem kameraets og projektorens billedkoordinater kan medføre projiceringsfejl – eller “fejljusteringsartefakter”. Disse er mærkbare fejl og kan forringe immersionskvaliteten. Det kan nå så langt som at ødelægge immersionen.

Et team af forskere fra Institute of Science Tokyo, Japan, gik i gang med at finde løsninger på eksisterende udfordringer i DFPM. Ledet af lektor Yoshihiro Watanabe omfattede teamet også kandidatstuderende Mr. Hao‑Lun Peng. I deres undersøgelse foreslog de koncepter til at reducere “fejljusteringsartefakterne”. 

To Forslag til at Reducere ‘Fejljusteringsartefakter’

Papiret fra de to Tokyo‑baserede forskere har en lang titel, hvilket er typisk for sådanne papirer. Men problemet, det behandler, er let at forstå. Det – som tidligere nævnt – sigter mod at reducere fejljusteringsartefakterne mellem projicerede billeder og målansigter, hvilket er en vedvarende udfordring for DFPM, mener forskerne.

Forskerne fremsatte to forslag for at nå deres mål. Det første koncept foreslog en højhastigheds‑ansigtssporingsmetode, der udnyttede tidsmæssig information. I deres arbejde introducerede forskerne først en beskåret‑område‑begrænset inter-/extrapolations‑baseret ansigtsdetektionsramme, som tillod parallel udførelse med ansigtslandmærkedetektion. 

Forskerne foreslog derefter en ny hybrid metode til ansigtslandmærkedetektion, der kombinerede hurtige Ensemble of Regression Trees (ERT)‑baserede detektioner med en hjælpedetektion. ERT‑baserede detektioner leverede hurtige resultater på 0,107 ms ved brug af tidsmæssig information med støtte fra den hjælpedetektion for at komme sig efter detektionsfejl. 

For at træne metoden til ansigtslandmærkedetektion foreslog forskerne en innovativ metode til at simulere høj‑frame‑rate video‑annoteringer for at løse manglen på offentligt tilgængelige høj‑frame‑rate annoterede datasæt.

Det andet koncept involverede en linse‑skift ko‑akslisk projektor‑kamera opsætning, der kunne opretholde en høj optisk justering med kun en 1,274‑pixel fejl mellem 1 m og 2 m dybde, hvilket reducerer fejljustering ved at anvende de samme optiske design på projektor og kamera uden at forårsage stor fejljustering som i konventionelle metoder.

Implementeringen af disse koncepter kan føre forskerne til at udvikle et nyt højhastigheds‑DFPM‑system, der opnår næsten perfekt justering med den menneskelige visuelle perception.

Klik her for en liste over virksomheder, der redefinerer AR/VR‑fronten.

Resultaterne Sammenfattet

Hvis vi flytter vores fokus væk fra de højteknologiske aspekter af forskningen for at forstå, hvad den kan opnå fra et anvendelsesperspektiv, vil resultaterne være som følger:

Den foreslåede opsætning kan føre til en usædvanligt høj optisk justering med mindre end 1,3 pixel fejl ved en dybde på 1‑2 m. Opsætningen gav hurtigere behandling og førte til høj nøjagtighed i dynamiske scenarier. 

Derudover udviklede forskerne under processen en metode til at simulere højhastigheds‑video‑annoteringer for at træne modellerne. 

Samlet set bør resultaterne hjælpe med at skabe mere overbevisende og hyperrealistiske effekter til live‑optrædener, modeshows og kunstneriske præsentationer. 

Mens forskerne vil fortsætte med at tilføre mere præcision til teknologien og dens anvendelse i underholdningsindustrien, foretager virksomheder også forbedringer, som de anser for passende og nødvendige for at forbedre deres tilbud. 

I de kommende afsnit ser vi på to sådanne virksomheder, der har gjort betydelige fremskridt i det område, hvor AR og underholdning mødes. 

1. Walt Disney (DIS )

Rapporter offentliggjort i november sidste år antydede, at Disney havde oprettet en ny strategisk gruppe til at styre og koordinere, hvordan virksomheden udviklede og implementerede næste generations teknologi — såsom kunstig intelligens og mixed reality. Den blev kaldt Office of Technology Enablement.

Jamie Voris, som havde tjent som CTO for Walt Disney Studios i 14 år, blev udvalgt til at lede den nyoprettede division. Voris skulle i den nye rolle rapportere til Disney Entertainment medformand Alan Bergman. 

I et internt notat – et der blev cirkuleret før lanceringen af den nye division – havde Bergman følgende at sige:

“Vores evne til at forblive i frontlinjen af teknologiske fremskridt vil kun blive mere kritisk, efterhånden som vi bevæger os fremad – hvilket gør det endnu vigtigere at forstå og omfavne nye teknologiske skift på måder, der muliggør vores mennesker, kreativitet og forretning.”

I det samme notat sagde Bergman, at Office of Technology Enablement havde til opgave at sikre, at Disney var “en progressiv, innovativ og ansvarlig leder” inden for AI og mixed reality. 

Mere vigtigt indrømmede Bergman, at tempoet og omfanget af fremskridt inden for extended reality, som omfatter AR som en af sine mest betydningsfulde komponenter, er dybtgående og vil fortsætte med at påvirke Disneys forbrugeroplevelser, kreative bestræbelser og forretning i mange år fremover. 

Eksperter og brancheanalytikere mener, at Disneys udnyttelse af disse teknologier vil være flerfacetteret. Undersøgelsen vil spænde over dets forskellige forretningsdivisioner.

I forlystelsesparksektoren samler virksomheden for eksempel et dedikeret team for at undersøge, hvordan AR og VR kan forbedre besøgendes oplevelser, i overensstemmelse med bredere branchetrends. I et indikerende ledelsesinitiativ er Kyle Laughlin også for nylig vendt tilbage til Disney.

Som den nye senior vice president for forskning og udvikling hos Walt Disney Imagineering mener eksperter, at Kyles baggrund inden for AR, VR og AI placerer ham godt til at drive innovation i forlystelsesparkattraktioner. 

Hvad angår specifikke anvendelser af ansigtsgenkendelsesteknologi, antydede rapporter fra december 2021, at Disney Corporation afprøvede brugen af ansigtsgenkendelsessoftware til at kontrollere besøgende, der ankom til deres Disney World forlystelsespark i Florida – kendt som Magic Kingdom. 

Den automatiserede tagnings‑pipeline, der blev oprettet til Disneys indholdslager, var udstyret med ansigtsdetekterings‑ og genkendelsesmoduler, som blev anvendt på Disneys indholdsbibliotek (serier, film osv.). 

Den 28. september 2024 rapporterede The Walt Disney Company (NYSE: DIS) sine resultater for fjerde kvartal og hele året. Omsætningen steg med 6 % for Q4 til 22,6 milliarder USD fra 21,2 milliarder USD i samme kvartal året før og med 3 % for året til 91,4 milliarder USD fra 88,9 milliarder USD året før.

2. Electronic Art Inc.  (EA )

En anden virksomhed inden for underholdningssektoren, der har gjort fantastisk arbejde med augmented reality‑teknologier og væsentligt forbedret ansigtsgenkendelse, er Electronic Arts eller EA. Virksomheden præsenterede på SIGGRAPH Asia 2024, afholdt i Tokyo, Japan, teorien om stabilisering ved kraniekæring.

Virksomheden mente, at præcis stabilisering af ansigtsbevægelse var afgørende for at skabe fotorealistiske avatarer til 3D‑spil, virtual reality, film og maskinlærings‑træningsdata. Især i sidstnævnte sag mente virksomheden, at ansigtsstabilisering skulle fungere hurtigt og automatisk, når kilde­dataene var en befolkning af personer med varierende morfologi. 

EA‑præsentanterne mente, at det var kritisk at skelne mellem stive kraniebevægelser og ansigtsudtryk, da fejljustering mellem kraniebevægelse og ansigtsudtryk kunne resultere i en animationsmodel, der var svær at kontrollere og uegnet til naturligt udseende bevægelser.

Dog var alt dette svært at opnå, fordi eksisterende stabiliseringsmetoder havde visse ulemper. Disse metoder havde svært ved at arbejde med sparsomme sæt af meget forskellige udtryk, såsom ved kombination af flere enheder fra et facial action coding system (FACS). Selvom der fandtes andre metoder, fandt EA‑teamet dem ikke tilstrækkeligt robuste.

Som en løsning udnyttede EA‑teamet de seneste fremskridt inden for neurale signed distance fields og differentiable isosurface meshing til at beregne kranie‑stabiliserings‑rigide transformationer direkte på ustrukturerede trekant‑meshes eller punkt‑skyer. Deres tilgang bidrog væsentligt til at forbedre nøjagtighed og robusthed.

Teamet stoppede ikke der. De gik videre med at introducere konceptet “stable hull” som overfladen af den booleske intersection af stabiliserede scanninger, analogt med “visual hull” (i shape‑from‑silhouette) og “photo hull” (i space carving). Den stabile skal ligner et kranium overlejret med minimal blødt vævstykkelse, og de øvre tænder inkluderes automatisk. 

Teamet hævdede, at deres kranie‑karve‑algoritme samtidig optimerer den stabile skals form og rigide transformationer for at opnå præcis stabilisering af komplekse udtryk for et mangfoldigt sæt af personer, og overgår eksisterende metoder.

EA har længe været fortaler for en fornuftig udnyttelse af AR. Allerede i 2017 kaldte EA‑CEO’en AR for ‘mere interessant’. Det introducerede Cranium Technology i EA SPORTS FC™ 25. Teknologien tilbød præcis kontrol over mange aspekter af spilkarakterens hovedmodel.

Brugere kunne anvende denne teknologi til skulptur og teksturer for at designe en karakter’s hovedmodel med en skabers ånd. Den tilbød brugerne mere end blot formgivning – den gjorde det muligt at animere brugerens ansigt, så det bevæger sig naturligt, og øgede immersion og realisme. 

Ifølge den seneste tilgængelige finansielle rapport udgjorde EA’s netto‑bookinger for Q3 FY25 i alt US$2.215 milliarder.

“Den rekordstore succes for vores EA SPORTS FC 25 Team of the Year‑event demonstrerer vores kreative teams evne til at tilpasse sig, innovere og levere i stor skala,” sagde Andrew Wilson, CEO for Electronic Arts.

Ansigtsprojektion: Fortsat Forskning, Konsistent Forbedring

Den transformerende forskning i ansigtsprojektion, som vi startede artiklen med, blev ikke opnået på en dag. Den bygger videre på en lang tradition af forskning inden for dette område.

For eksempel offentliggjorde forskere fra School of Engineering, Tokyo Institute of Technology i 2021 et papir med titlen ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘

I deres indledende bemærkninger indrømmede forskerne, at dynamisk projektion på et bevægende objekt i henhold til dets position og form var grundlæggende for, at augmented reality kunne efterligne ændringer på en målflade.

De beskæftigede sig specifikt med at forstærke overfladen af den menneskelige arm via dynamisk projektion, som kunne forbedre anvendelser inden for mode, brugergrænseflader, prototyping, uddannelse, medicinsk assistance og andre felter. De identificerede dog nogle ulemper.

De fandt, at konventionelle metoder ignorerede huddeformation og havde høj latenstid mellem bevægelse og projektion, hvilket forårsagede mærkbar fejljustering mellem målarmens overflade og de projicerede billeder.

Som løsning foreslog forskerne et system til højhastighedsdynamisk projektion på en hurtigt bevægende menneskelig arm med realistisk huddeformation. Med det udviklede system opfattede brugeren ingen fejljustering mellem armens overflade og de projicerede billeder.

For at udføre deres opgave kombinerede forskerne først en topmoderne parametrisk deformabel overflademodel med effektiv regressionsbaseret nøjagtigheds‑kompensation for at repræsentere huddeformation og modificerede teksturkoordinaterne for at opnå hurtig og præcis billedgenerering til projektion baseret på led‑sporing.

Som et andet skridt udviklede forskerne et højhastighedssystem, der leverede en latenstid mellem bevægelse og projektion på under 10 ms, hvilket generelt var uopfatteligt for det menneskelige øje. 

Lignende forskning blev udført af et forskerteam i 2017. Teamet havde samarbejdspartnere fra Disney Research, Princeton University, Chalmers University og Osaka University. Undersøgelsen havde titlen ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’

I papiret foreslog forskerne det første system til live‑dynamisk forstærkning af menneskelige ansigter. Ved hjælp af projektorbaseret belysning ændrede de udseendet af menneskelige udøvere under nye forestillinger. Den vigtigste udfordring ved live‑forstærkning var dog latenstid.

Et billede blev genereret i henhold til en specifik positur, men blev vist på en anden ansigtskonfiguration, da det blev projiceret. Systemet, som forskerne foreslog, havde til formål at reducere latenstid i hvert trin af processen, fra optagelse gennem behandling til projektion.

Ved hjælp af infrarød belysning registrerede et optisk og beregningsmæssigt justeret højhastighedskamera ansigtsorientering samt udtryk. De estimerede udtryks‑blend‑former blev kortlagt til et lavere dimensionelt rum, og ansigtsbevægelse og ikke‑rigide deformationer blev estimeret, udglattet og forudsagt gennem adaptiv Kalman‑filtrering. Til sidst blev det ønskede udseende genereret ved at interpolere forudberegnede offset‑teksturer i forhold til tid, global position og udtryk.

Forskerne evaluerede deres system gennem en optimeret CPU‑ og GPU‑prototype og demonstrerede vellykket lav‑latenstets‑forstærkning for forskellige udøvere og forestillinger med varierende ansigtsleg og bevægelseshastighed.

Forskerne hævdede, i modsætning til eksisterende metoder, at deres præsenterede system var den første metode, der fuldt ud understøttede dynamisk ansigtsprojektion uden behov for fysiske sporingsmarkører og som inkorporerede ansigtsudtryk.

Ansigtsprojektion og forskning for at opnå stabiliseret output uden latenstid og fejljustering er ikke nye. Forskere har målrettet forfulgt denne vej for dens transformerende muligheder. Den seneste DFPM‑teknik er uden tvivl et gennembrud og vil hjælpe med at genopfinde underholdningen med forbedrede præstationsaspekter. 

Klik her for en liste over de bedste aktier inden for augmented reality og virtual reality.

Studierreferencer:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptuelt‑justeret dynamisk ansigtsprojektion ved hjælp af højhastigheds‑ansigtssporingsmetode og linse‑skift ko‑akslisk opsætning. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Højhastighedsdynamisk projektion på menneskelig arm med realistisk huddeformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live‑forstærkning af menneskelige ansigter via projektion. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128