Muling Paglalarawan ng Industriya ng Libangan gamit ang Dynamic Facial Projection Mapping

Ang Augmented Reality, o AR, ay napatunayan na ang kahalagahan nito sa industriya ng libangan. ginagamit ito sa paglalaro, pelikula, mga live na kaganapan, mga theme park, mga museo at eksibisyon, teatro at mga pagtatanghal, telebisyon, advertising, social media, e-sports, turismo, moda, sining, musika at sayaw, at pati na rin sa komiks at graphic novels o mga magic show. 

Isang pagtatantya ng merkado ay nagsasabi na ang merkado ng AR & VR para sa industriya ng libangan ay maaaring umabot sa US$30 bilyon pagsapit ng 2030, na lumalago sa halos 19% CAGR sa panahon ng forecast na 2024-2030.

Natukoy ng ulat ang ilang mga salik na nagpasigla sa paglago ng AR sa libangan. Halimbawa, ang paggamit ng AR ay tumulong sa mga tagalikha ng nilalaman na lumikha ng mga nakaka-engganyong kwento na naglalaho ang hangganan sa pagitan ng realidad at kathang-isip, na nag-uudyok sa mga manonood na maging aktibong kalahok sa pagsasalaysay at nagpapalakas ng pakikipag-ugnayan at emosyonal na koneksyon. Ang AR at VR ay tumulong din sa pagbuo ng mga personalisadong karanasan na iniayon sa indibidwal na kagustuhan.

Sa pamamagitan ng pagsasama ng data analytics at AR, maaaring i-customize ng mga kumpanya ng libangan ang nilalaman, mga rekomendasyon, at kahit mga patalastas. Ngunit, ito ay maituturing lamang na ibabaw ng yelo.

Maaaring makamit ng AR ang mas marami pa sa pamamagitan ng mga tiyak na teknolohikal na inobasyon. Sa susunod na bahagi, tatalakayin natin ang isang ganitong makabago na inobasyon na kinabibilangan ng teknolohiyang tinatawag na DFPM, Dynamic Facial Projection Mapping. 

DFPM: Ano ito?

Ito ay isang bagong teknik sa augmented reality kung saan ang mga imahe ay ini-proyekto sa mga mukha ng tao, binabago ang kanilang hitsura sa real-time. Sa ibang salita, ang pamamaraan ay naglalaman ng pag-proyekto ng mga dynamic na visual sa mukha ng isang tao nang sabay-sabay, gamit ang advanced na facial tracking upang matiyak na ang mga projection ay naaangkop nang walang putol sa galaw at ekspresyon.

Pinagmulan: Disney Research

Bagaman ang teknolohiyang ito ay may napakalaking potensyal at maaaring makatulong sa malalaking hakbang sa larangan ng artistikong imahinasyon, ang teknik ay nahaharap sa mga teknikal na hamon. Sa madaling salita, ang problemang ito ay maaaring tingnan bilang problema ng hindi pagkakahanay. 

Isang bagong pag-aaral na inilathala sa journal ng Institute of Electrical and Electronics Engineers¹ ay tumatalakay sa isyu ng hindi pagkakahanay. Ngunit, bago tayo sumisid nang mas malalim sa solusyon, tingnan muna natin kung ano ang problema.

I-click dito upang matuto tungkol sa pamumuhunan sa hinaharap ng virtual reality.

Ang Isyu ng Hindi Pagkakahanay sa Pag-deploy ng DFPM

Ang pag-proyekto ng mga visual sa gumagalaw na mukha ay nangangailangan na ang DFPM system ay matukoy ang mga tampok ng mukha ng gumagamit, tulad ng mga mata, ilong, at bibig, sa loob ng mas mababa sa isang milisecond. Kahit na bahagyang pagkaantala sa pagproseso o napakaliit na hindi pagkakahanay sa pagitan ng mga coordinate ng imahe ng kamera at projector ay maaaring magdulot ng mga error sa projection—o “misalignment artifacts.” Ang mga ito ay kapansin-pansing mga error at maaaring makasira sa kalidad ng immersion. Maaaring umabot ito sa punto ng pagsira ng immersion.

Isang pangkat ng mga mananaliksik mula sa Institute of Science Tokyo, Japan, ang nagsimulang humanap ng mga solusyon sa umiiral na mga hamon sa DFPM. Pinamunuan ni Associate Professor Yoshihiro Watanabe, kasama rin sa koponan ang mag-aaral na si Mr. Hao-Lun Peng. Sa kanilang pag-aaral, nagmungkahi sila ng mga konsepto upang mabawasan ang ‘misalignment artifacts.’ 

Dalawang Proposisyon upang Bawasan ang ‘Misalignment Artifacts‘ 

Ang papel ng dalawang mananaliksik mula sa Tokyo ay may mahabang pamagat, na karaniwan sa ganitong mga papel. Ngunit, ang problemang tinatalakay nito ay madaling maunawaan. Ito—tulad ng nabanggit kanina—ay naglalayong bawasan ang misalignment artifacts sa pagitan ng mga projected na imahe at mga target na mukha, na isang patuloy na hamon para sa DFPM’, naniniwala ng mga mananaliksik. 

Gumawa ang mga mananaliksik ng dalawang proposisyon upang makamit ang kanilang layunin. Ang unang konsepto ay nagmungkahi ng isang high-speed face-tracking method na gagamitin ang temporal na impormasyon. Sa kanilang pagsisikap, unang ipinakilala ng mga mananaliksik ang isang cropped-area-limited inter/extrapolation-based face detection framework, na nagbigay-daan sa parallel execution kasama ang facial landmark detection. 

Pagkatapos, nagmungkahi ang mga mananaliksik ng isang bagong hybrid facial landmark detection method na pinagsama ang mabilis na Ensemble of Regression Trees (ERT)-based detections at isang auxiliary detection. Ang mga ERT-based detections ay nagbigay ng mabilis na resulta sa 0.107 ms gamit ang temporal na impormasyon na sinusuportahan ng auxiliary detection upang makabawi mula sa mga error sa detection. 

Upang sanayin ang facial landmark detection method, nagmungkahi ang mga mananaliksik ng isang makabago na paraan para sa pag-simulate ng high-frame-rate video annotations upang tugunan ang kakulangan ng publicly available na high-frame-rate annotated datasets.

Ang ikalawang konsepto ay kinabibilangan ng isang lens-shift co-axial projector-camera setup na maaaring mapanatili ang mataas na optical alignment na may error na 1.274-pixel lamang sa pagitan ng 1 m at 2 m na lalim, na nagbabawas ng hindi pagkakahanay sa pamamagitan ng pag-aapply ng parehong optical designs sa projector at kamera nang hindi nagdudulot ng malaking hindi pagkakahanay tulad ng sa tradisyunal na mga pamamaraan.

Ang pag-deploy ng mga konseptong ito ay maaaring magdala sa mga mananaliksik na makabuo ng isang bagong high-speed DFPM system na nakakamit ang halos perpektong pagkakahanay sa persepsyon ng paningin ng tao.

I-click dito para sa listahan ng mga kumpanya na muling nagtatakda ng AR/VR frontier.

Ang Mga Natamo sa Buod

Kung ililipat natin ang ating pokus mula sa napaka-teknolohikal na aspeto ng pananaliksik upang subukang maunawaan kung ano ang maaaring makamit nito mula sa perspektibo ng aplikasyon, ang mga natuklasan ay ang mga sumusunod:

Ang iminungkahing setup ay maaaring magdulot ng napakataas na optical alignment na mas mababa sa 1.3 pixel error sa lalim na 1-2 m. Ang setup ay nagbigay ng mas mabilis na pagproseso at nagdala ng mataas na katumpakan sa mga dynamic na senaryo. 

Dagdag pa, sa proseso, nag-develop ang mga mananaliksik ng isang paraan para sa pag-simulate ng high-speed video annotations upang sanayin ang mga modelo. 

Sa kabuuan, ang mga resulta ay dapat makatulong sa pagbuo ng mas kaakit-akit at hyper-realistic na mga epekto para sa mga live na pagtatanghal, fashion shows, at mga artistikong presentasyon. 

Habang magpapatuloy ang mga mananaliksik na magdala ng higit na katumpakan sa teknolohiya at sa aplikasyon nito sa industriya ng libangan, ang mga negosyo ay gumagawa rin ng mga pagpapabuti na itinuturing nilang angkop at kinakailangan para mapabuti ang kanilang mga alok. 

Sa mga susunod na bahagi, titingnan natin ang dalawang kumpanyang ito na nagkaroon ng makabuluhang pag-unlad sa espasyo kung saan nagtatagpo ang AR at libangan. 

1. Walt Disney (DIS )

Mga ulat na inilathala noong Nobyembre noong nakaraang taon ay nagmumungkahi na ang Disney ay lumikha ng isang bagong strategic group upang pamahalaan at i-coordinate kung paano nag-develop at nag-deploy ang kumpanya ng next-generation na teknolohiya — tulad ng artificial intelligence at mixed reality. Tinawag itong Office of Technology Enablement.

Si Jamie Voris, na nagsilbing CTO ng Walt Disney Studios sa loob ng 14 na taon, ay napili upang pangunahan ang bagong binuong dibisyon. Si Voris, sa bagong tungkulin, ay mag-uulat sa co-chairman ng Disney Entertainment na si Alan Bergman. 

Sa isang internal memo — isang memo na ipinamahagi bago ilunsad ang bagong dibisyon — sinabi ni Bergman ang mga sumusunod::

“Ang aming kakayahang manatili sa unahan ng mga teknolohikal na pag-unlad ay magiging mas kritikal habang kami ay nagpapatuloy — na ginagawa itong mas mahalaga na maunawaan at yakapin ang mga bagong teknolohikal na pagbabago sa mga paraan na nagbibigay-daan sa aming mga tao, pagkamalikhain, at negosyo.”

Sa parehong memo, sinabi ni Bergman na ang Office of Technology Enablement ay inatasang tiyakin na ang Disney ay “isang progresibo, makabago, at responsableng lider”“ sa AI at mixed reality. 

Mas mahalaga, Inamin ni Bergman na ang bilis at lawak ng mga pag-unlad sa extended reality, na kinabibilangan ng AR bilang isa sa pinakamahalagang sangkap nito, ay malalim at magpapatuloy na makaapekto sa karanasan ng mga consumer ng Disney, mga malikhaing pagsisikap, at negosyo sa mga darating na taon. 

Naniniwala ang mga eksperto at analyst ng industriya na ang paggamit ng Disney sa mga teknolohiyang ito ay magiging maraming aspeto. Ang pagsisiyasat ay sasaklaw sa iba’t ibang dibisyon ng negosyo nito.

Sa sektor ng theme park, halimbawa, ang kumpanya ay nagbubuo ng isang dedikadong koponan upang imbestigahan kung paano maaaring mapabuti ng AR at VR ang karanasan ng mga bisita, alinsunod sa mas malawak na mga trend sa industriya. Sa isang kahindik-hindik na hakbang sa pamumuno, si Kyle Laughlin ay kamakailan lamang bumalik sa Disney.

Bilang bagong senior vice president ng research and development para sa Walt Disney Imagineering, naniniwala ang mga eksperto na ang background ni Kyle sa AR, VR, at AI ay naglalagay sa kanya sa magandang posisyon upang pasiglahin ang inobasyon sa mga atraksyon ng theme park. 

Pagdating sa mga tiyak na paggamit ng facial recognition technology, ang mga ulat mula Disyembre 2021 ay nagmumungkahi na ang Disney Corporation ay nagtatangka ng paggamit ng facial recognition software upang suriin ang mga bisita na dumarating sa Disney World theme park sa Florida — kilala bilang Magic Kingdom. 

Ang automated tagging pipeline na nilikha para sa content repository ng Disney ay may kasamang face detection at recognition modules na inilapat sa library ng nilalaman ng Disney (mga palabas, pelikula, atbp.). 

Noong Setyembre 28, 2024, iniulat ng The Walt Disney Company (NYSE: DIS) ang kanilang kita para sa ika-apat na quarter at buong taon. Tumaas ang kita ng 6% para sa Q4 sa $22.6 bilyon mula $21.2 bilyon sa nakaraang taon na quarter at 3% para sa taon sa $91.4 bilyon mula $88.9 bilyon sa nakaraang taon.

2. Electronic Art Inc.  (EA )

Isa pang kumpanya sa larangan ng libangan na gumagawa ng kahanga-hangang trabaho gamit ang augmented reality technologies at malaki ang pagpapabuti sa facial recognition ay ang Electronic Arts o EA. Ipinresenta ng kumpanya sa SIGGRAPH Asia 2024, na ginanap sa Tokyo, Japan, ang teorya ng stabilization sa pamamagitan ng skull carving.

Naniniwala ang kumpanya na ang tumpak na pag-stabilize ng galaw ng mukha ay mahalaga para sa paglikha ng photo-real na avatars para sa 3D games, virtual reality, pelikula, at machine-learning training data. Lalo na sa huling kaso, naniniwala ang kumpanya na ang facial stabilization ay kailangang gumana nang mabilis at awtomatiko kapag ang source data ay populasyon ng mga tao na may iba’t ibang morpolohiya. 

Naniniwala ang mga presenter ng EA na kritikal na maiba ang rigid skull motions mula sa facial expressions dahil ang hindi pagkakahanay sa pagitan ng galaw ng skull at facial expressions ay maaaring magresulta sa isang animation model na mahirap kontrolin at hindi angkop para sa natural na galaw.

Gayunpaman, lahat ng ito ay mahirap makamit dahil ang umiiral na mga stabilization method ay may ilang kahinaan. Ang mga metodong ito ay nahirapang gumana sa sparse na set ng napakaiba-ibang ekspresyon, tulad ng kapag pinagsasama ang maraming yunit mula sa facial action coding system (FACS). Bagaman may iba pang mga metodo, natagpuan ng EA team na hindi ito sapat na matibay.

Bilang solusyon, ginamit ng EA team ang pinakabagong pag-unlad sa neural signed distance fields at differentiable isosurface meshing upang kalkulahin ang skull stabilization rigid transforms nang direkta sa unstructured triangle meshes o point clouds. Ang kanilang pamamaraan ay malaki ang naitulong sa pagpapabuti ng katumpakan at katatagan.

Ang koponan ay hindi huminto doon. Ipinakilala nila ang konsepto ng isang \”stable hull\” bilang ang surface ng boolean intersection ng stabilized scans, na katulad ng \”visual hull\” (sa shape-from-silhouette) at ang \”photo hull\” (sa space carving). Ang stable hull ay kahawig ng skull na may napakaliit na kapal ng soft tissue, at ang itaas na ngipin ay awtomatikong kasama. 

Ipinahayag ng koponan na ang kanilang skull carving algorithm ay sabay-sabay na nag-ooptimize ng stable hull shape at rigid transforms upang makuha ang tumpak na stabilization ng kumplikadong ekspresyon para sa iba’t ibang hanay ng tao, na humahigitan ang mga umiiral na metodo.

Matagal nang pabor ang EA sa maingat na paggamit ng AR. Noong 2017, tinawag ng CEO ng EA ang AR bilang ‘mas kawili-wili.’ Ipinakilala nito ang Cranium Technology sa EA SPORTS FC™ 25. Ang teknolohiya ay nag-alok ng tumpak na kontrol sa maraming aspeto ng head model ng karakter sa laro.

Maaaring gamitin ng mga gumagamit ang teknolohiyang ito para sa sculpting at textures upang idisenyo ang head model ng karakter na may diwa ng isang creator. Nag-alok ito ng higit pa sa simpleng paghubog—pinahintulutan nitong i-animate ang mukha ng gumagamit upang kumilos nang natural, na nagpapataas ng immersion at realism. 

Ayon sa pinakabagong available na financial report, ang net bookings ng EA para sa Q3 FY25 ay umabot sa US$2.215 bilyon.

“Ang rekord na tagumpay ng aming EA SPORTS FC 25 Team of the Year event ay nagpapakita ng kakayahan ng aming mga creative team na mag-adapt, mag-innovate, at mag-execute sa malawak na sukat,” sabi ni Andrew Wilson, CEO ng Electronic Arts.

Facial Projection Mapping: Patuloy na Pananaliksik, Konsistenteng Pag-unlad

Ang mapang-ibang teknolohiya ng facial projection mapping na sinimulan natin sa artikulo ay hindi naabot sa isang araw. Ito ay nagdadala ng mahabang tradisyon ng pananaliksik sa larangang ito.

Halimbawa, noong 2021, ang mga mananaliksik mula sa School of Engineering, Tokyo Institute of Technology ay naglathala ng papel na pinamagatang ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

Sa kanilang pambungad na pahayag, inamin ng mga mananaliksik na ang dynamic projection mapping para sa isang gumagalaw na bagay ayon sa posisyon at hugis nito ay pundamental para sa augmented reality upang magmukhang pagbabago sa target na ibabaw.

Partikular nilang tinutukan ang pag-augment ng ibabaw ng braso ng tao sa pamamagitan ng dynamic projection mapping na maaaring mapabuti ang mga aplikasyon sa fashion, user interfaces, prototyping, edukasyon, medikal na tulong, at iba pang larangan. Gayunpaman, natukoy nila ang ilang kahinaan.

Natuklasan nila na ang mga tradisyunal na pamamaraan ay hindi isinasaalang-alang ang skin deformation at may mataas na latency sa pagitan ng galaw at projection, na nagdudulot ng kapansin-pansing hindi pagkakahanay sa pagitan ng target na ibabaw ng braso at mga projected na imahe.

Bilang solusyon, iminungkahi ng mga mananaliksik ang isang sistema para sa high-speed dynamic projection mapping sa mabilis na gumagalaw na braso ng tao na may realistic na skin deformation. Sa gamit na sistemang ito, hindi napansin ng gumagamit ang anumang hindi pagkakahanay sa pagitan ng ibabaw ng braso at mga projected na imahe.

Upang magawa ang kanilang gawain, pinagsama muna ng mga mananaliksik ang isang state-of-the-art parametric deformable surface model sa efficient regression-based accuracy compensation upang ilarawan ang skin deformation at binago ang mga texture coordinates upang makamit ang mabilis at tumpak na pagbuo ng imahe para sa projection mapping batay sa joint tracking.

Bilang ikalawang hakbang, nag-develop ang mga mananaliksik ng isang high-speed system na nagbigay ng latency sa pagitan ng galaw at projection na mas mababa sa 10 ms, na karaniwang hindi napapansin ng paningin ng tao. 

Katulad na pananaliksik ay isinagawa ng isang pangkat ng mga mananaliksik noong 2017. Ang koponan ay may mga kasamahan mula sa Disney Research, Princeton University, Chalmers University, at Osaka University. Ang pananaliksik ay pinamagatang ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

Sa papel, iminungkahi ng mga mananaliksik ang unang sistema para sa live dynamic augmentation ng mga mukha ng tao. Gamit ang projector-based illumination, binago nila ang hitsura ng mga human performer sa panahon ng mga bagong pagtatanghal. Ang pangunahing hamon ng live augmentation, gayunpaman, ay ang latency.

Isang imahe ay nilikha ayon sa isang tiyak na pose ngunit ipinakita sa ibang facial configuration pagdating ng oras na ito ay na-proyekto. Ang sistemang iminungkahi ng mga mananaliksik ay naglalayong bawasan ang latency sa bawat hakbang ng proseso, mula sa capture hanggang processing hanggang projection. 

Gamit ang infrared illumination, isang optically at computationally aligned high-speed camera ang nag-detect ng facial orientation pati na rin ng expression. Ang tinantyang expression blend shapes ay na-map sa isang lower dimensional space, at ang facial motion at non-rigid deformation ay na-estimate, na-smooth, at na-predict sa pamamagitan ng adaptive Kalman filtering. Sa huli, ang nais na hitsura ay nilikha sa pamamagitan ng pag-interpolate ng precomputed offset textures ayon sa oras, global position, at expression. 

Sinuri ng mga mananaliksik ang kanilang sistema sa pamamagitan ng isang optimized na CPU at GPU prototype at ipinakita ang matagumpay na low-latency augmentation para sa iba’t ibang performer at pagtatanghal na may iba’t ibang facial play at bilis ng galaw.

Ipinahayag ng mga mananaliksik, bilang pagkakaiba sa mga umiiral na metodo, na ang kanilang ipinakitang sistema ay ang unang metodo na ganap na sumusuporta sa dynamic facial projection mapping nang hindi kailangan ng anumang physical tracking markers at isinama ang facial expressions.

Ang facial projection mapping at pananaliksik upang makamit ang stabilized output nang walang latency at hindi pagkakahanay ay hindi bago. Ang mga mananaliksik ay masigasig na sumusunod sa landas na ito dahil sa mga mapang-ibang kakayahan nito. Ang pinakabagong DFPM technique ay tiyak na isang breakthrough at makakatulong na muling mag-imagine ng libangan na may pinahusay na aspeto ng performance. 

I-click dito para sa listahan ng mga nangungunang stock sa augmented reality at virtual reality.

Sanggunian ng Pag-aaral:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually-Aligned Dynamic Facial Projection Mapping by High-Speed Face-Tracking Method and Lens-Shift Co-Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128