Viihdeteollisuuden uudelleenkuvittelu dynaamisen kasvojen projektiokartoituksen avulla

Lisätty todellisuus, tai AR, on jo osoittanut mullistavan arvonsa viihdeteollisuudelle. Sitä käytetään pelien, elokuvien, live-tapahtumien, huvipuistojen, museoiden ja näyttelyiden, teatterin ja esitysten, television, mainonnan, sosiaalisen median, e-urheilun, matkailun, muodin, taiteen, musiikin ja tanssin, ja jopa sarjakuvien ja grafiikkaromaanien tai taikashowjen parissa. 

Yksi markkina-arvioista viittaa siihen, että AR‑ ja VR‑markkinat viihdeteollisuudessa voivat saavuttaa 30 miljardia USD vuoteen 2030 mennessä, kasvaen lähes 19 % vuosittaisella kasvukorolla tarkastelujakson 2024‑2030 aikana.

Raportti tunnisti useita kasvua edistäviä tekijöitä AR:n hyödyntämisessä viihteessä. Esimerkiksi AR:n käyttö auttoi sisällöntuottajia luomaan immersiivisiä kertomuksia, jotka hämärästi rajaavat todellisuuden ja fiktion välistä raja‑aitaa, innostaen yleisöä osallistumaan aktiivisesti tarinankerrontaan ja parantaen sitoutumista sekä emotionaalista yhteyttä. AR ja VR auttoivat myös rakentamaan yksilöllisiä kokemuksia, jotka on räätälöity henkilökohtaisiin mieltymyksiin.

Hyödyntämällä data‑analytiikkaa yhdessä AR:n kanssa viihdeyritykset voivat räätälöidä sisältöä, suosituksia ja jopa mainoksia. Mutta kaikki nämä ovat vain jäävuoren huippu.

AR voi saavuttaa paljon enemmän erityisten teknologisten innovaatioiden avulla. Seuraavassa osiossa käsittelemme yhtä tällaista mullistavaa innovaatiota, joka liittyy DFPM‑tekniikkaan, Dynamic Facial Projection Mappingiin. 

DFPM: Mikä se on?

Se on uusi lisätyn todellisuuden tekniikka, jossa kuvia projisoidaan ihmisen kasvoille, muuttaen niiden reaaliaikaisia ulkonäköjä. Toisin sanoen menetelmä projisoi dynaamisia visuaaleja henkilön kasvoille reaaliajassa käyttäen kehittynyttä kasvosseurantaa, jotta projektio sopeutuu saumattomasti liikkeisiin ja ilmeisiin.

Lähde: Disney Research

Vaikka teknologia tarjoaa valtavan potentiaalin ja voi viedä taiteellista mielikuvitusta pitkälle, tekniikka kärsii teknisistä haasteista. Lyhyesti sanottuna tämä ongelma voidaan nähdä epätarkkuusongelmana.

Uusi tutkimus julkaistu Institute of Electrical and Electronics Engineers -lehdessä¹ käsittelee epätarkkuusongelmaa. Mutta ennen kuin syvennymme ratkaisuun, tarkastellaan, mistä ongelma johtuu.

Klikkaa tästä oppiaksesi lisää virtuaalitodellisuuden tulevaisuuden sijoittamisesta.

Epätarkkuusongelma DFPM:n käyttöönotossa

Kasvojen liikkuvalle pinnalle projisoiminen vaatii DFPM‑järjestelmän havaitsevan käyttäjän kasvonpiirteet, kuten silmät, nenän ja suun, alle millisekunnin. Pienetkin viiveet käsittelyssä tai mikroskooppiset epätarkkuudet kameran ja projektorin kuvasijaintien välillä voivat johtaa projektiovirheisiin – “epätarkkuusartefakteihin”. Nämä ovat havaittavia virheitä ja voivat heikentää immersio‑kokemuksen laatua, jopa pilata sen kokonaan.

Tutkijaryhmä Institute of Science Tokyosta, Japani, pyrki löytämään ratkaisuja DFPM:n nykyisiin haasteisiin. Ryhmää johti apulaisprofessori Yoshihiro Watanabe, ja siihen kuului myös jatko-opiskelija Mr. Hao‑Lun Peng. Tutkimuksessaan he ehdottivat käsitteitä “epätarkkuusartefaktien” vähentämiseksi.

Kaksi ehdotusta “epätarkkuusartefaktien” vähentämiseksi

Kahden Tokioon perustuvan tutkijan artikkelilla on pitkä otsikko, mikä on tyypillistä tällaisille julkaisuja. Mutta ongelma, jota se käsittelee, on helppo ymmärtää. Kuten aiemmin mainittiin, se pyrkii vähentämään projektioiden ja kohdekasvojen välistä epätarkkuusartefaktia, mikä on jatkuva haaste DFPM:lle, tutkijat uskovat.

Tutkijat tekivät kaksi ehdotusta tavoitteensa saavuttamiseksi. Ensimmäinen käsite ehdotti korkean nopeuden kasvosseurantamenetelmää, joka hyödyntäisi ajallista informaatiota. Tutkimuksissaan he esittelivät ensin rajatun leikkausalueen inter-/ekstrapolaatiopohjaisen kasvojen havaitsemisrungon, joka mahdollisti rinnakkaisen suorituksen kasvojen maamerkkien tunnistuksen kanssa.

Sen jälkeen tutkijat ehdottivat uutta hybridi‑kasvojen maamerkkien tunnistusmenetelmää, joka yhdisti nopean Ensemble of Regression Trees (ERT) -pohjaisen tunnistuksen ja aputunnistuksen. ERT‑pohjaiset tunnistukset tuottivat nopeita tuloksia 0,107 ms:ssä käyttäen ajallista informaatiota ja aputunnistuksen tukea virheiden korjaamiseen.

Kasvojen maamerkkien tunnistusmenetelmän kouluttamiseksi tutkijat ehdottivat innovatiivista menetelmää korkean ruudunpäivitysnopeuden video‑annotaatioiden simulointiin, jotta voitaisiin kompensoida julkisesti saatavilla olevien korkean nopeuden annotoidujen datasetien puute.

Toinen käsite sisälsi linssin‑siirtymä‑koaksiaalisen projektori‑kamera‑asetelman, joka pystyi ylläpitämään korkeaa optista kohdistusta vain 1,274‑pikselin virheellä 1 m‑2 m syvyydellä, vähentäen epätarkkuutta soveltamalla samoja optisia suunnitelmia projektoriin ja kameraan ilman suuria epätarkkuuksia, kuten perinteisissä menetelmissä.

Näiden käsitteiden käyttöönotto voisi johtaa tutkijoita kehittämään uuden korkean nopeuden DFPM‑järjestelmän, joka saavuttaa lähes täydellisen kohdistuksen ihmisen visuaalisen havainnon tasolla.

Klikkaa tästä listaa yrityksistä, jotka uudistavat AR/VR‑rajapintaa.

Saavutukset tiivistettynä

Jos siirrämme huomion pois tutkimuksen vahvasti teknisistä näkökohdista ja pyrimme ymmärtämään, mitä se voisi saavuttaa sovellusnäkökulmasta, löydökset ovat seuraavat:

Ehdotettu asetus voisi johtaa poikkeuksellisen korkeaan optiseen kohdistukseen, alle 1,3 pikselin virheeseen 1‑2 m syvyydellä. Asetus tarjosi nopeamman prosessoinnin ja johti korkeaan tarkkuuteen dynaamisissa tilanteissa.

Lisäksi prosessin aikana tutkijat kehittivät menetelmän korkean nopeuden video‑annotaatioiden simulointiin mallien kouluttamista varten.

Kaiken kaikkiaan tulosten tulisi auttaa luomaan vaikuttavampia ja hyper‑realistisia efektejä live‑esityksiin, muotinäytöksiin ja taiteellisiin esityksiin.

Vaikka tutkijat jatkavat tarkkuuden parantamista teknologiaan ja sen soveltamiseen viihdeteollisuudessa, yrityksetkin tekevät parannuksia, jotka heidän mielestään ovat tarpeellisia tarjontansa kehittämiseksi.

Seuraavissa osioissa tarkastelemme kahta yritystä, jotka ovat tehneet merkittäviä edistysaskeleita AR‑ ja viihteen leikkauspisteessä.

1. Walt Disney

Lokakuussa julkaistut raportit viime vuonna viittasivat siihen, että Disney oli luonut uuden strategisen ryhmän hallinnoimaan ja koordinoimaan, miten yhtiö kehitti ja otti käyttöön seuraavan sukupolven teknologioita — kuten tekoälyä ja sekatodellisuutta. Ryhmää kutsuttiin Office of Technology Enablementiksi.

Jamie Voris, joka oli toiminut Walt Disney (DIS ) (WDP.DE ) Studiosin CTO:nä 14 vuotta, valittiin johtamaan uutta divisioonaa. Voris raportoisi uudessa roolissaan Disney Entertainmentin varapuheenjohtaja Alan Bergmanille.

Sisäisessä muistiossa — joka levitettiin ennen uuden divisioonan lanseerausta — Bergman sanoi seuraavaa:

“Kyky pysyä teknologisen kehityksen eturintamassa on vain entistä kriittisempää, kun etenemme eteenpäin — mikä tekee entistä tärkeämmäksi ymmärtää ja omaksua uudet teknologiset muutokset tavoilla, jotka mahdollistavat ihmisemme, luovuutemme ja liiketoimintamme.”

Samassa muistiossa Bergman totesi, että Office of Technology Enablementin tehtävänä on varmistaa, että Disney on “edistyksellinen, innovatiivinen ja vastuullinen johtaja” AI‑ssa ja sekatodellisuudessa.

Entistä tärkeämpää, Bergman myönsi, että laajennetun todellisuuden edistymisen nopeus ja laajuus, jossa AR on yksi merkittävimmistä komponenteista, ovat syvällisiä ja tulevat vaikuttamaan Disney‑kuluttajakokemuksiin, luoviin pyrkimyksiin ja liiketoimintaan vuosien ajan.

Asiantuntijat ja toimialaan analysoivat uskovat, että Disney:n näiden teknologioiden hyödyntäminen on monimuotoista. Tutkimus ulottuu sen eri liiketoimintayksiköihin.

Esimerkiksi teemapuisto‑sektorilla yhtiö kokoaa omistautunutta tiimiä tutkimaan, miten AR ja VR voivat parantaa kävijäkokemuksia, linjautuen laajempiin alan trendeihin. Johtajuuden viitteellisenä liikkeenä Kyle Laughlin on myös äskettäin palannut Disneyyn.

Uutena senior‑varapuheenjohtajana tutkimus‑ ja kehitysosastossa Walt Disney Imagineeringissä asiantuntijat uskovat, että Kyle:n tausta AR:ssa, VR:ssa ja AI:ssa asettaa hänet erinomaiseksi ajamaan innovaatiota teemapuisto‑attraktioissa.

Mitä tulee kasvojentunnistusteknologian erityiskäyttöön, joulukuun 2021 raporteissa viitattiin siihen, että Disney Corporation testasi kasvojentunnistusohjelmiston käyttöä kävijöiden tarkistamiseen saapuessa Disney World -teemapuistoon Floridassa — Magic Kingdom -nimisessä puistossa.

Disney‑sisällön arkistoon luotu automatisoitu merkintäputki sisälsi kasvojen havaitseminen‑ ja tunnistusmoduulit, jotka otettiin käyttöön Disney‑kirjastossa (ohjelmat, elokuvat, jne.).

28. syyskuuta 2024 The Walt Disney Company (NYSE: DIS) raportoi neljännen neljänneksen ja koko vuoden tuloksensa. Liikevaihto kasvoi 6 % neljänneksessä 22,6 miljardiin USD:stä 21,2 miljardiin USD:stä edellisvuoden vastaavassa neljänneksessä ja 3 % vuodelle 91,4 miljardiin USD:stä 88,9 miljardiin USD:stä edellisvuonna.

2. Electronic Art Inc.  

Toinen viihdealan yritys, joka on tehnyt vaikuttavaa työtä lisätyn todellisuuden teknologioiden ja kasvojentunnistuksen parantamisessa, on Electronic Arts (EA ) eli EA. Yritys esitteli SIGGRAPH Asia 2024 -tapahtumassa Tokiossa, Japani, aivohionnan teorian.

Yritys uskoi, että kasvojen liikkeen tarkka vakauttaminen on olennaista valokuvarealististen avatarien luomiseksi 3D‑peleihin, virtuaalitodellisuuteen, elokuviin ja koneoppimisen koulutusdataan. Erityisesti viimeisessä tapauksessa yritys katsoi, että kasvojen vakautuksen on toimittava nopeasti ja automaattisesti, kun lähdedata koostuu ihmisjoukosta, jolla on vaihteleva morfologia.

EA:n esittelijät katsoivat kriittiseksi erottaa jäykkä kallon liike kasvojen ilmeistä, sillä kallon liikkeen ja kasvojen ilmeiden välinen epätarkkuus voisi johtaa animaatiomalliin, joka on vaikea hallita eikä sovellu luonnollisen näköiseen liikkeeseen.

Kuitenkin kaikki nämä olivat vaikeita toteuttaa, koska olemassa olevilla vakautusmenetelmillä oli puutteita. Menetelmät kamppailivat tyhjien, hyvin erilaisten ilmeiden joukkojen kanssa, kuten kun yhdistettiin useita yksiköitä kasvojen toiminta‑koodausjärjestelmästä (FACS). Vaikka muita menetelmiä oli, EA‑tiimi koki ne riittämättömän vahvoiksi.

Ratkaisuna EA‑tiimi hyödynsi uusimpia edistysaskeleita neuroverkkojen allekirjoitetuissa etäisyyskentissä ja differentioituvassa isosurface‑meshingissä laskeakseen kallon vakautuksen jäykät muutokset suoraan rakenteettomilla kolmio‑mesheillä tai pistepilvillä. Heidän lähestymistapansa auttoi merkittävästi parantamaan tarkkuutta ja vankautta.

Tiimi ei pysähtynyt siihen. Se esitteli käsitteen “stable hull” (vakaa kuori) stabiloitujen skannausten boolen‑leikkauspinnan muodossa, analogisesti “visual hull” (visuaalinen kuori) (muodosta‑varjosta) ja “photo hull” (valokuvakuori) (avaruuskaivauksessa). Vakaa kuori muistuttaa kalloa, jonka päälle on lisätty minimaalinen pehmytkudoskerros, ja ylähammas on automaattisesti sisällytetty.

Tiimi väitti, että heidän kallon kaivamisalgoritminsa optimoi samanaikaisesti vakaan kuoren muodon ja jäykät muutokset saadakseen tarkan vakautuksen monimutkaisille ilmeille monipuoliselle ihmisjoukolle, ylittäen olemassa olevat menetelmät.

EA on pitkään suosinut AR:n harkittua hyödyntämistä. Vuonna 2017 EA:n toimitusjohtaja kutsui AR:n “mielenkiintoisemmaksi”. Se esitteli Cranium‑teknologian EA SPORTS FC™ 25:ssa. Teknologia tarjosi tarkkaa hallintaa moniin pelihahmon pään mallin osa‑alueisiin.

Käyttäjät voivat käyttää tätä teknologiaa veistämiseen ja teksturointiin suunnitellakseen hahmon pään mallin luovan hengen mukaisesti. Se tarjosi käyttäjille enemmän kuin pelkkä muotoilu — se mahdollisti käyttäjän kasvojen animoinnin luonnollisesti, lisäten immersiota ja realismia.

Viimeisimmän saatavilla olevan talousraportin mukaan EA:n nettopalvelut Q3 FY25:ssä olivat yhteensä US$2,215 miljardia.

“EA SPORTS FC 25 Team of the Year -tapahtuman ennätyksellinen menestys osoittaa luovien tiimiemme kyvyn sopeutua, innovoida ja toteuttaa mittakaavassa,” sanoi Andrew Wilson, Electronic Artsin toimitusjohtaja.

Kasvojen projektiokartoitus: Jatkuvaa tutkimusta, johdonmukaista parantamista

Muutoksellista kasvojen projektiokartoitusteknologiaa koskevaa tutkimusta, josta aloitimme artikkelimme, ei saavutettu yhdessä päivässä. Se jatkaa pitkää perinnettä tällä alalla.

Esimerkiksi vuonna 2021 Tokion teknillisen korkeakoulun insinööriosaston tutkijat julkaisivat artikkelin, jonka otsikko on ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

Avauskommenteissaan tutkijat myönsivät, että dynaaminen projektiokartoitus liikkuvalle kohteelle sen sijainnin ja muodon mukaan on perusta lisätyn todellisuuden jäljittelemiseksi kohdepinnan muutoksia.

He käsittelivät erityisesti ihmisen käsivarren pinnan augmentointia dynaamisen projektiokartoituksen avulla, mikä voisi parantaa sovelluksia muotialalla, käyttöliittymissä, prototypoinnissa, koulutuksessa, lääketieteellisessä avustamisessa ja muilla aloilla. He kuitenkin tunnistivat joitakin heikkouksia.

He havaitsivat, että perinteiset menetelmät laiminlyövät ihonmuodon ja niillä on suuri viive liikkeen ja projektion välillä, mikä aiheutti havaittavaa epätarkkuutta kohde‑käsivarren pinnan ja projisoitujen kuvien välillä.

Ratkaisuna tutkijat ehdottivat järjestelmää, joka mahdollistaa korkean nopeuden dynaamisen projektiokartoituksen nopeasti liikkuvalle ihmisen käsivarren pinnalle realistisella ihonmuodolla. Kehitetyn järjestelmän avulla käyttäjä ei havaitse epätarkkuutta käsivarren pinnan ja projisoitujen kuvien välillä.

Suorittaakseen tehtävän tutkijat yhdistivät ensiksi huippuluokan parametrisen muokattavan pinnamallin tehokkaaseen regressiopohjaiseen tarkkuuskompensaatioon ihonmuodon esittämiseksi ja muokkasivat tekstuurikoordinaatteja nopean ja tarkan kuvageneroinnin saavuttamiseksi projektiokartoituksessa nivelten seurannan perusteella.

Toisena askeleena tutkijat kehittivät korkean nopeuden järjestelmän, joka tarjosi liikkeen ja projektion välisten viiveiden alapuolella 10 ms, mikä oli yleisesti ihmisen näön havaitsemattomissa.

Vastaavaa tutkimusta tehtiin myös vuonna 2017. Tiimillä oli yhteistyökumppaneita Disney Researchista, Princeton Universitysta, Chalmers Universitysta ja Osaka Universitysta. Tutkimus oli nimeltään ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.³‘.

Artikkelissa tutkijat ehdottivat ensimmäistä järjestelmää ihmisten kasvojen live‑dynaamiseen augmentointiin. Projektoripohjaisen valaistuksen avulla he muokkasivat ihmisen esiintyjien ulkonäköä uusissa esityksissä. Live‑augmentoinnin keskeinen haaste oli kuitenkin viive.

Kuva luotiin tietyn asennon mukaan, mutta se näytettiin eri kasvoasennossa, kun se projisoitiin. Tutkijoiden ehdottama järjestelmä pyrki vähentämään viivettä jokaisessa prosessin vaiheessa, kaappaamisesta prosessointiin projisointiin.

Infrapunavalaistusta käyttäen optisesti ja laskennallisesti kohdistettu korkean nopeuden kamera havaitsi kasvojen suuntautumisen sekä ilmeen. Arvioidut ilmeiden blend‑shapet kartoitettiin alempiin dimensioihin, ja kasvojen liike ja ei‑jäykkä muodonmuutos arvioitiin, tasoitettiin ja ennustettiin adaptiivisen Kalman‑suodattimen avulla. Lopuksi haluttu ulkonäkö luotiin interpoloimalla ennalta lasketut offset‑tekstuurit ajan, globaalin sijainnin ja ilmeen mukaan.

Tutkijat arvioivat järjestelmäänsä optimoidun CPU‑ ja GPU‑prototyypin avulla ja osoittivat onnistuneen matalan viiveen augmentoinnin eri esiintyjille ja esityksille, joissa oli vaihteleva kasvojen leikki ja liikkeen nopeus.

Tutkijat väittivät, että olemassa oleviin menetelmiin verrattuna heidän esittelemänsä järjestelmä oli ensimmäinen menetelmä, joka täysin tuki dynaamista kasvojen projektiokartoitusta ilman fyysisiä seuranta‑merkkejä ja sisälsi kasvojen ilmeet.

Kasvojen projektiokartoitus ja tutkimus vakaan tuloksen saavuttamiseksi ilman viivettä ja epätarkkuutta eivät ole uusia. Tutkijat ovat ahkerasti jatkaneet tätä polkua sen mullistavien kykyjen vuoksi. Viimeisin DFPM‑tekniikka on varmasti läpimurto ja auttaa uudistamaan viihdettä parannettujen suorituskykyominaisuuksien avulla.

Klikkaa tästä lista parhaista lisätyn todellisuuden ja virtuaalitodellisuuden osakkeista.

Studien viitteet:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Havainnollisesti kohdistettu dynaaminen kasvojen projektiokartoitus korkean nopeuden kasvojen seuranta‑menetelmällä ja linssin siirtymällä koaksiaalisella asetelmalla. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Korkean nopeuden dynaaminen projektiokartoitus ihmisen käsivarteen realistisella ihonmuodostuksella. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Meikkilamput: Elävä kasvojen augmentaatio projektioiden avulla. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128