Omdefiniera underhållningsindustrin med dynamisk ansiktsprojektion

Augmented Reality, eller AR, har redan bevisat sitt revolutionerande värde för underhållningsindustrin. Det används inom spel, filmer, live‑evenemang, nöjesparker, museer och utställningar, teater och föreställningar, television, reklam, sociala medier, e‑sport, turism, mode, konst, musik och dans, och även serier och grafiska romaner eller magiska shower. 

En marknadsuppskattning antyder att AR‑ och VR‑marknaden för underhållningsindustrin kan nå 30 miljarder USD år 2030, med en CAGR på nästan 19 % under prognosperioden 2024‑2030.

Rapporten identifierade flera drivande faktorer som ledde till tillväxt för AR inom underhållning. Till exempel hjälpte användningen av AR innehållsskapare att skapa uppslukande berättelser som suddade ut gränserna mellan verklighet och fiktion, inspirerade publiken att bli aktiva deltagare i berättandet och förbättrade engagemang och emotionell koppling. AR och VR hjälpte också till att bygga personliga upplevelser anpassade efter individuella preferenser.

Genom att kombinera dataanalys med AR kunde underhållningsföretag anpassa innehåll, rekommendationer och till och med annonser. Men allt detta kan bara betraktas som toppen av isberget.

AR kan åstadkomma mycket mer med specifika tekniska innovationer. I det kommande avsnittet diskuterar vi en sådan banbrytande innovation som involverar en teknik kallad DFPM, Dynamic Facial Projection Mapping. 

DFPM: Vad är det?

Det är en ny teknik inom förstärkt verklighet där bilder projiceras på mänskliga ansikten och förändrar deras realtidsutseende. Med andra ord innebär metoden att dynamiska visuella element projiceras på en persons ansikte i realtid, med avancerad ansiktsspårning för att säkerställa att projektionerna anpassas sömlöst till rörelser och uttryck.

Källa: Disney Research

Även om tekniken har enorm potential och kan möjliggöra stora språng så långt den konstnärliga fantasin räcker, lider metoden av tekniska utmaningar. Kort sagt kan detta problem ses som ett problem med feljustering. 

En ny studie publicerad i tidskriften från Institute of Electrical and Electronics Engineers¹ behandlar problemet med feljustering. Men innan vi fördjupar oss i lösningen, låt oss se vad problemet är.

Klicka här för att lära dig mer om investeringar i framtiden för virtuell verklighet.

Problemet med feljustering vid implementering av DFPM

Att projicera visuella element på ett rörligt ansikte kräver att DFPM‑systemet upptäcker användarens ansiktsdrag, såsom ögon, näsa och mun, på mindre än en millisekund. Även små fördröjningar i bearbetning eller obetydliga feljusteringar mellan kamerans och projektorns bildkoordinater kan leda till projektionfel – eller ”feljusteringsartefakter”. Dessa är märkbara fel och kan försämra immersionskvaliteten. Det kan gå så långt att immersionsupplevelsen förstörs.

Ett team av forskare från Institute of Science Tokyo, Japan, satte sig för att hitta lösningar på befintliga utmaningar i DFPM. Ledda av docent Yoshihiro Watanabe inkluderade teamet även doktorand Mr. Hao-Lun Peng. I sin studie föreslog de koncept för att minska ”feljusteringsartefakter”. 

Två förslag för att minska ‘feljusteringsartefakter‘ 

Papperet av de två forskarna baserade i Tokyo har en lång titel, vilket är vanligt för sådana publikationer. Men problemet de behandlar är enkelt att förstå. Det – som tidigare nämnts – syftar till att minska feljusteringsartefakter mellan projicerade bilder och målansikten, vilket är en ihållande utmaning för DFPM’, tror forskarna.

Forskare gjorde två förslag för att uppnå sitt mål. Det första konceptet föreslog en högfrekvent ansiktsspårningsmetod som skulle utnyttja tidsinformation. I sina ansträngningar introducerade forskarna först ett beskuret-områdesbegränsat inter-/extrapoleringsbaserat ansiktsdetekteringsramverk, vilket möjliggjorde parallell körning med ansiktslandmärkesdetektering. 

Forskarnas föreslog sedan en ny hybridmetod för ansiktslandmärkesdetektering som kombinerade snabba Ensemble of Regression Trees (ERT)-baserade detektioner med en hjälpdetection. ERT-baserade detektioner levererade snabba resultat på 0,107 ms med tidsinformation, med stöd av en hjälpdetektering för att återhämta sig från detekteringsfel. 

För att träna metoden för ansiktslandmärkesdetektering föreslog forskarna en innovativ metod för att simulera högbildfrekvensvideomärkningar för att lösa bristen på offentligt tillgängliga högbildfrekvensannoterade dataset.

Det andra konceptet involverade en linsförskjutnings‑koaxial projektor‑kamera‑uppsättning som kunde upprätthålla en hög optisk justering med endast 1,274‑pixel fel mellan 1 m och 2 m djup, vilket minskade feljusteringen genom att tillämpa samma optiska design på projektorn och kameran utan att orsaka stora feljusteringar som i konventionella metoder.

Implementeringen av dessa koncept kan leda forskare till att utveckla ett nytt högfrekvent DFPM‑system som uppnår nästan perfekt justering med mänsklig visuell perception.

Klicka här för en lista över företag som omdefinierar AR/VR‑fronten.

Resultaten sammanfattade

Om vi flyttar vårt fokus från de starkt tekniska aspekterna av forskningen för att försöka förstå vad den kan uppnå ur ett tillämpningsperspektiv, skulle resultaten vara följande:

Den föreslagna uppsättningen kan leda till exceptionellt hög optisk justering med mindre än 1,3‑pixel fel på ett djup av 1‑2 m. Uppställningen erbjöd snabbare bearbetning och ledde till hög noggrannhet i dynamiska scenarier. 

Dessutom utvecklade forskarna under processen en metod för att simulera högfrekventa videoannoteringar för att träna modellerna. 

Sammanlagt bör resultaten hjälpa till att skapa mer fängslande och hyperrealistiska effekter för live‑föreställningar, modeshower och konstnärliga presentationer. 

Medan forskarna fortsätter att förbättra precisionen i tekniken och dess tillämpning inom underhållningsindustrin, gör även företag förbättringar som de anser lämpliga och nödvändiga för att förbättra sina erbjudanden. 

I de kommande avsnitten tittar vi på två sådana företag som har gjort betydande framsteg i området där AR och underhållning möts. 

1. Walt Disney (DIS )

Rapporter publicerade i november förra året indikerade att Disney hade skapat en ny strategisk grupp för att hantera och samordna hur företaget utvecklade och implementerade nästa generations teknik – såsom artificiell intelligens och mixed reality. Den kallades Office of Technology Enablement.

Jamie Voris, som hade tjänstgjort som CTO för Walt Disney (WDP.DE ) Studios i 14 år, valdes att leda den nybildade avdelningen. Voris skulle i den nya rollen rapportera till Disney Entertainment medco‑ordförande Alan Bergman. 

I ett internt memo – ett som cirkulerade innan lanseringen av den nya avdelningen – hade Bergman följande att säga:

“Vår förmåga att förbli i framkant av tekniska framsteg kommer bara att bli ännu viktigare när vi går framåt – vilket gör det ännu viktigare att förstå och omfamna nya teknologiska skiften på sätt som möjliggör för våra människor, kreativitet och verksamhet.”

I samma memo sade Bergman att Office of Technology Enablement hade i uppdrag att säkerställa att Disney var “en progressiv, innovativ och ansvarsfull ledare” inom AI och mixed reality. 

Mer viktigt, Bergman erkände att takten och omfattningen av framsteg i extended reality, som inkluderar AR som en av dess mest betydande komponenter, är djupgående och kommer att fortsätta påverka Disneys konsumentupplevelser, kreativa insatser och verksamhet under många år framöver. 

Experter och branschanalytiker tror att Disneys utnyttjande av dessa teknologier kommer att vara mångfacetterat. Utforskningen kommer att omfatta dess olika affärsenheter.

Inom nöjesparkssektorn, till exempel, samlar företaget ett dedikerat team för att undersöka hur AR och VR kan förbättra besökarnas upplevelser, i linje med bredare branschtrender. I ett föreslagande ledarskapsdrag har Kyle Laughlin också nyligen återvänt till Disney.

Som den nya seniora vice VD för forskning och utveckling för Walt Disney Imagineering tror experter att Kyles bakgrund inom AR, VR och AI placerar honom väl för att driva innovation i nöjesparksattraktioner. 

När det gäller specifika användningar av ansiktsigenkänningsteknik indikerade rapporter från december 2021 att Disney Corporation testade användningen av ansiktsigenkänningsprogram för att kontrollera besökare som anlände till deras Disney World-nöjespark i Florida – känd som Magic Kingdom. 

Den automatiserade taggningspipeline som skapades för Disneys innehållsarkiv utrustades med ansiktsdetekterings- och igenkänningsmoduler som tillämpades på Disneys innehållsbibliotek (serier, filmer osv.). 

Den 28 september 2024 rapporterade The Walt Disney Company (NYSE: DIS) sina resultat för fjärde kvartalet och helåret. Intäkterna ökade med 6 % för Q4 till 22,6 miljarder USD från 21,2 miljarder USD föregående kvartal och med 3 % för året till 91,4 miljarder USD från 88,9 miljarder USD föregående år.

2. Electronic Art Inc.  (EA )

Ett annat företag inom underhållningssektorn som har gjort fantastiskt arbete med förstärkt verklighetstekniker och förbättrat ansiktsigenkänning avsevärt är Electronic Arts eller EA. Företaget presenterade på SIGGRAPH Asia 2024, som hölls i Tokyo, Japan, teorin om stabilisering genom skallskärning.

Företaget ansåg att en exakt stabilisering av ansiktsrörelser var avgörande för att skapa fotorealistiska avatarer för 3D‑spel, virtuell verklighet, filmer och maskininlärnings‑träningsdata. Särskilt i det sista fallet trodde företaget att ansiktsstabilisering behövde fungera snabbt och automatiskt när källdata bestod av en population av personer med varierande morfologi. 

Presentatörerna från EA ansåg att det var kritiskt att skilja på stel skallrörelse och ansiktsuttryck eftersom feljustering mellan skallrörelse och ansiktsuttryck kunde resultera i en animationsmodell som var svår att kontrollera och olämplig för naturliknande rörelse.

Dock var allt detta svårt att uppnå eftersom befintliga stabiliseringsmetoder hade vissa nackdelar. Dessa metoder hade svårt att fungera med glesa uppsättningar av mycket olika uttryck, såsom när man kombinerade flera enheter från ett ansiktsaktionskodningssystem (FACS). Även om det fanns andra metoder fann EA‑teamet dem otillräckligt robusta.

Som en lösning utnyttjade EA‑teamet de senaste framstegen inom neurala signed distance fields och differentiable isosurface meshing för att beräkna stelare transformeringar för skallstabilisering direkt på ostrukturerade triangulära nät eller punktmoln. Deras tillvägagångssätt bidrog avsevärt till att förbättra noggrannhet och robusthet.

Teamet stoppade inte där. Det gick vidare med att introducera konceptet \”stable hull\” som ytan av den boolska skärningen av stabiliserade skanningar, analogt med den \”visual hull\” (i shape‑from‑silhouette) och den \”photo hull\” (i space carving). Den stabila höljet liknar ett skall överlagt med minimal mjukvävnadstjocklek, och övre tänder inkluderas automatiskt. 

Teamet påstod att deras skallskärningsalgoritm samtidigt optimerar den stabila höljetformen och stelare transformeringar för att uppnå exakt stabilisering av komplexa uttryck för en mångsidig grupp människor, vilket överträffar befintliga metoder.

EA har länge förespråkat ett ansvarsfullt utnyttjande av AR. År 2017 kallade EA:s VD AR för ‘mer intressant‘. Det introducerade Cranium Technology i EA SPORTS FC™ 25. Teknologin erbjöd exakt kontroll över många aspekter av spelkaraktärens huvudmodell.

Användare kunde använda denna teknik för skulptering och texturer för att designa en karaktärs huvudmodell med en skapande anda. Den erbjöd användarna mer än bara formning – den möjliggjorde att animera användarens ansikte så att det rörde sig naturligt, vilket ökade immersion och realism. 

Enligt den senaste tillgängliga finansiella rapporten uppgick EA:s netto bokningar för Q3 FY25 till US$2.215 miljarder.

“Den rekordhöga framgången för vårt EA SPORTS FC 25 Team of the Year‑evenemang visar våra kreativa teamens förmåga att anpassa sig, innovera och genomföra i stor skala,” sade Andrew Wilson, VD för Electronic Arts.

Ansiktsprojektion: Fortsatt forskning, konsekvent förbättring

Den transformerande forskningen kring ansiktsprojektionsteknik som vi inledde vår artikel med uppnåddes inte på en dag. Den bygger vidare på en lång tradition av forskning inom detta område.

Till exempel, år 2021 publicerade forskare från School of Engineering, Tokyo Institute of Technology ett papper med titeln ‘High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

I sina inledande kommentarer medgav forskarna att dynamisk projektion för ett rörligt objekt enligt dess position och form var grundläggande för att förstärkt verklighet skulle kunna efterlikna förändringar på en mål yta.

De fokuserade specifikt på att förstärka människans armytor via dynamisk projektion, vilket kunde förbättra tillämpningar inom mode, användargränssnitt, prototypframtagning, utbildning, medicinsk assistans och andra områden. De identifierade dock vissa nackdelar.

De fann att konventionella metoder försummade huddeformation och hade hög latens mellan rörelse och projektion, vilket orsakade märkbar feljustering mellan målarmens yta och projicerade bilder.

Som en lösning föreslog forskarna ett system för högfrekvent dynamisk projektion på en snabbt rörlig mänsklig arm med realistisk huddeformation. Med det utvecklade systemet upplevde användaren ingen feljustering mellan armens yta och projicerade bilder.

För att utföra sin uppgift kombinerade forskarna först en toppmodern parametrisk deformabel yta-modell med effektiv regressionsbaserad noggrannhetskompensation för att representera huddeformation och modifierade texturkoordinaterna för att uppnå snabb och exakt bildgenerering för projektion baserad på ledspårning.

Som ett andra steg utvecklade forskarna ett högfrekvent system som levererade en latens mellan rörelse och projektion under 10 ms, vilket i allmänhet var omärkbart för mänskligt öga. 

Liknande forskning utfördes av ett forskarlag år 2017. Teamet hade samarbetspartners från Disney Research, Princeton University, Chalmers University och Osaka University. Forskningen hade titeln ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

I papperet föreslog forskarna det första systemet för live‑dynamisk förstärkning av mänskliga ansikten. Med projektorbaserad belysning förändrade de utseendet på mänskliga artister under nya föreställningar. Den viktigaste utmaningen med live‑förstärkning var dock latens.

En bild genererades enligt en specifik pose men visades på en annan ansiktskonfiguration när den projicerades. Systemet som forskarna föreslog syftade till att minska latensen i varje steg av processen, från inspelning genom bearbetning till projektion. 

Med infraröd belysning detekterade en optiskt och beräkningsmässigt justerad högfrekvent kamera ansiktsorientering samt uttryck. De uppskattade uttrycks‑blend‑formerna mappades till ett lägre dimensionellt rum, och ansiktsrörelse samt icke‑stel deformation uppskattades, jämnades och förutsågs genom adaptiv Kalman‑filtrering. Slutligen genererades det önskade utseendet genom interpolering av förberäknade offset‑texturer enligt tid, global position och uttryck.

Forskarna utvärderade sitt system med en optimerad CPU‑ och GPU‑prototyp och demonstrerade framgångsrik låg‑latensförstärkning för olika artister och föreställningar med varierande ansiktsuttryck och rörelses hastighet.

Forskarna påstod, i kontrast till befintliga metoder, att deras presenterade system var den första metoden som fullt stödde dynamisk ansiktsprojektion utan behov av fysiska spårningsmarkörer och som integrerade ansiktsuttryck.

Ansiktsprojektion och forskning för att uppnå stabiliserad output utan latens och feljustering är inte nya. Forskare har noggrant följt denna bana för dess transformerande möjligheter. Den senaste DFPM‑tekniken är utan tvekan ett genombrott och kommer att hjälpa till att omdefiniera underhållning med förbättrade prestandaaspekter. 

Klicka här för en lista över de bästa aktierna inom augmented reality & virtual reality.

Studierreferens:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptuellt anpassad dynamisk ansiktsprojektion genom högfrekvent ansiktsspårningsmetod och linsförskjutnings‑koaxial uppsättning. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Högfrekvent dynamisk projektion på mänsklig arm med realistisk huddeformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live‑förstärkning av mänskliga ansikten via projektion. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128