Merevolusi Industri Hiburan dengan Pemeta Proyeksi Wajah Dinamis

Realitas Tertambah, atau AR, telah membuktikan nilai revolusionernya bagi industri hiburan. Teknologi ini digunakan dalam permainan, film, acara langsung, taman hiburan, museum dan pameran, teater dan pertunjukan, televisi, periklanan, media sosial, e‑sport, pariwisata, mode, seni, musik dan tarian, bahkan komik, novel grafis, atau pertunjukan sulap. 

Sebuah perkiraan pasar menyatakan bahwa pasar AR & VR untuk industri hiburan dapat mencapai US$30 miliar pada tahun 2030, dengan pertumbuhan CAGR hampir 19% selama periode perkiraan 2024‑2030.

Laporan tersebut mengidentifikasi beberapa faktor pendorong yang menyebabkan pertumbuhan AR dalam hiburan. Misalnya, penerapan AR membantu pembuat konten merancang narasi imersif yang mengaburkan batas antara realitas dan fiksi, menginspirasi penonton menjadi peserta aktif dalam bercerita serta meningkatkan keterlibatan dan ikatan emosional. AR & VR juga membantu menciptakan pengalaman yang dipersonalisasi sesuai preferensi individu.

Dengan memanfaatkan analitik data bersamaan dengan AR, perusahaan hiburan dapat menyesuaikan konten, rekomendasi, bahkan iklan. Namun, semua itu baru merupakan puncak gunung es.

AR dapat melakukan jauh lebih banyak dengan inovasi teknologi khusus. Pada segmen berikut, kami membahas satu inovasi terobosan yang melibatkan teknologi bernama DFPM, Dynamic Facial Projection Mapping. 

DFPM: Apa itu?

Ini adalah teknik realitas tertambah baru di mana gambar diproyeksikan ke wajah manusia, mengubah penampilan mereka secara real‑time. Dengan kata lain, metode ini melibatkan proyeksi visual dinamis ke wajah seseorang secara langsung, menggunakan pelacakan wajah canggih agar proyeksi menyesuaikan secara mulus dengan gerakan dan ekspresi.

Sumber: Disney Research

Meskipun teknologi ini memiliki potensi besar dan dapat mendorong lompatan panjang dalam imajinasi artistik, teknik ini menghadapi tantangan teknis. Singkatnya, masalah ini dapat dilihat sebagai masalah misalignment. 

Sebuah studi yang dipublikasikan dalam jurnal Institute of Electrical and Electronics Engineers¹ membahas isu misalignment. Namun, sebelum menyelami solusi, mari kita lihat apa masalahnya.

Klik di sini untuk mempelajari tentang investasi di masa depan realitas virtual.

Masalah Misalignment dalam Penerapan DFPM

Menyinari visual ke wajah yang bergerak mengharuskan sistem DFPM mendeteksi fitur wajah pengguna, seperti mata, hidung, dan mulut, dalam waktu kurang dari satu milidetik. Penundaan sekecil apa pun dalam pemrosesan atau kesalahan kecil antara koordinat gambar kamera dan proyektor dapat menghasilkan kesalahan proyeksi—atau “artefak misalignment.” Kesalahan ini terlihat dan dapat mengganggu kualitas imersi, bahkan sampai merusak imersi sepenuhnya.

Tim peneliti dari Institute of Science Tokyo, Jepang, berupaya menemukan solusi untuk tantangan yang ada pada DFPM. Dipimpin oleh Associate Professor Yoshihiro Watanabe, tim tersebut juga melibatkan mahasiswa pascasarjana Mr. Hao‑Lun Peng. Dalam studi mereka, mereka mengusulkan konsep untuk mengurangi ‘artefak misalignment.’ 

Dua Usulan untuk Mengurangi ‘Artefak Misalignment’

Makalah oleh dua peneliti berbasis Tokyo memiliki judul yang panjang, seperti kebanyakan makalah. Namun, masalah yang dibahas sederhana untuk dipahami. Seperti yang disebutkan sebelumnya, makalah ini berupaya mengurangi artefak misalignment antara gambar yang diproyeksikan dan wajah target, yang merupakan tantangan persisten bagi DFPM, menurut para peneliti.

Peneliti membuat dua usulan untuk mencapai tujuan mereka. Konsep pertama mengusulkan metode pelacakan wajah berkecepatan tinggi yang memanfaatkan informasi temporal. Dalam upaya mereka, peneliti pertama kali memperkenalkan kerangka kerja deteksi wajah berbasis inter/ekstrapolasi terbatas area terpotong, yang memungkinkan eksekusi paralel dengan deteksi landmark wajah. 

Peneliti kemudian mengusulkan metode deteksi landmark wajah hibrida baru yang menggabungkan deteksi berbasis Ensemble of Regression Trees (ERT) yang cepat dan deteksi tambahan. Deteksi berbasis ERT menghasilkan hasil cepat dalam 0,107 ms menggunakan informasi temporal dengan dukungan deteksi tambahan untuk memulihkan kesalahan deteksi. 

Untuk melatih metode deteksi landmark wajah, peneliti mengusulkan metode inovatif untuk mensimulasikan anotasi video berkecepatan tinggi guna mengatasi kurangnya dataset beranotasi berkecepatan tinggi yang tersedia secara publik.

Konsep kedua melibatkan pengaturan proyektor‑kamera ko‑aksial dengan pergeseran lensa yang dapat mempertahankan penyelarasan optik tinggi dengan hanya 1,274‑pixel error antara kedalaman 1 m dan 2 m, mengurangi misalignment dengan menerapkan desain optik yang sama pada proyektor dan kamera tanpa menyebabkan misalignment besar seperti pada metode konvensional.

Penerapan konsep‑konsep ini dapat memungkinkan peneliti mengembangkan sistem DFPM berkecepatan tinggi yang mencapai penyelarasan hampir sempurna dengan persepsi visual manusia.

Klik di sini untuk daftar perusahaan yang mendefinisikan ulang frontier AR/VR.

Ringkasan Pencapaian

Jika kita mengalihkan fokus dari aspek teknologi tinggi penelitian untuk mencoba memahami apa yang dapat dicapai dari perspektif aplikasi, temuan‑temuan tersebut adalah sebagai berikut:

Pengaturan yang diusulkan dapat menghasilkan penyelarasan optik yang sangat tinggi dengan error kurang dari 1,3 pixel pada kedalaman 1‑2 m. Pengaturan tersebut menawarkan pemrosesan lebih cepat dan menghasilkan akurasi tinggi dalam skenario dinamis. 

Selain itu, selama proses tersebut, peneliti mengembangkan metode untuk mensimulasikan anotasi video berkecepatan tinggi guna melatih model. 

Secara keseluruhan, hasil tersebut diharapkan membantu menciptakan efek yang lebih menarik dan hiper‑realistik untuk pertunjukan langsung, peragaan mode, dan presentasi artistik. 

Sementara peneliti akan terus meningkatkan presisi teknologi dan aplikasinya dalam industri hiburan, bisnis juga melakukan perbaikan yang mereka anggap tepat dan diperlukan untuk meningkatkan penawaran mereka. 

Pada segmen berikut, kami akan meninjau dua perusahaan yang telah membuat langkah signifikan di ruang di mana AR dan hiburan bertemu. 

1. Walt Disney

Laporan yang diterbitkan pada November tahun lalu menyatakan bahwa Disney telah membentuk grup strategis baru untuk mengelola dan mengoordinasikan cara perusahaan mengembangkan serta menerapkan teknologi generasi berikutnya — seperti kecerdasan buatan dan realitas campuran. Grup tersebut disebut Office of Technology Enablement.

Jamie Voris, yang pernah menjabat sebagai CTO Walt Disney (DIS ) (WDP.DE ) Studios selama 14 tahun, dipilih untuk memimpin divisi baru tersebut. Voris, dalam peran barunya, melapor kepada co‑chairman Disney Entertainment Alan Bergman. 

Dalam memo internal — yang disebarkan sebelum peluncuran divisi baru — Bergman menuliskan:

“Kemampuan kami untuk tetap berada di garis depan kemajuan teknologi akan menjadi semakin penting seiring kami melangkah maju — menjadikannya lebih penting untuk memahami dan mengadopsi pergeseran teknologi baru dengan cara yang memberdayakan orang‑orang kami, kreativitas, dan bisnis.” 

Dalam memo yang sama, Bergman mengatakan bahwa Office of Technology Enablement ditugaskan untuk memastikan Disney menjadi “pemimpin progresif, inovatif, dan bertanggung jawab” dalam AI dan realitas campuran. 

Lebih penting lagi, Bergman mengakui bahwa kecepatan dan cakupan kemajuan dalam extended reality, yang mencakup AR sebagai komponen paling signifikan, sangat mendalam dan akan terus memengaruhi pengalaman konsumen Disney, upaya kreatif, serta bisnis selama bertahun‑tahun ke depan. 

Para pakar dan analis industri percaya bahwa pemanfaatan teknologi ini oleh Disney akan bersifat multifaset. Eksplorasi akan melintasi berbagai divisi bisnisnya.

Di sektor taman hiburan, misalnya, perusahaan sedang membentuk tim khusus untuk menyelidiki bagaimana AR dan VR dapat meningkatkan pengalaman pengunjung, selaras dengan tren industri yang lebih luas. Dalam langkah kepemimpinan yang sugestif, Kyle Laughlin juga baru‑baru ini kembali ke Disney.

Sebagai senior vice president baru untuk riset dan pengembangan di Walt Disney Imagineering, para pakar percaya latar belakang Kyle dalam AR, VR, dan AI menempatkannya pada posisi yang tepat untuk mendorong inovasi dalam atraksi taman hiburan. 

Mengenai penggunaan spesifik teknologi pengenalan wajah, laporan Desember 2021 menyatakan bahwa Disney Corporation sedang menguji penggunaan perangkat lunak pengenalan wajah untuk memeriksa pengunjung yang tiba di taman tema Disney World di Florida — yang dikenal sebagai Magic Kingdom. 

Pipeline penandaan otomatis yang dibuat untuk repositori konten Disney dilengkapi dengan modul deteksi dan pengenalan wajah yang diterapkan pada perpustakaan konten Disney (acara, film, dll.). 

Pada 28 September 2024, The Walt Disney Company (NYSE: DIS) melaporkan pendapatan kuartal keempat dan tahunan penuh. Pendapatan naik 6% untuk Q4 menjadi US$22,6 miliar dari US$21,2 miliar pada kuartal tahun sebelumnya dan naik 3% untuk tahun menjadi US$91,4 miliar dari US$88,9 miliar pada tahun sebelumnya.

2. Electronic Art Inc.  

Perusahaan lain di ruang hiburan yang telah melakukan pekerjaan luar biasa dengan teknologi realitas tertambah dan meningkatkan pengenalan wajah secara substansial adalah Electronic Arts (EA ) atau EA. Perusahaan tersebut mempresentasikan di SIGGRAPH Asia 2024, yang diadakan di Tokyo, Jepang, mengenai teori stabilisasi melalui pemotongan tengkorak.

Perusahaan percaya bahwa menstabilkan gerakan wajah secara akurat sangat penting untuk menciptakan avatar foto‑realistik untuk game 3D, realitas virtual, film, dan data pelatihan pembelajaran mesin. Khususnya dalam kasus terakhir, perusahaan berpendapat bahwa stabilisasi wajah harus bekerja cepat dan otomatis ketika data sumber berupa populasi orang dengan morfologi yang beragam. 

Para presenter EA berpendapat bahwa penting untuk membedakan gerakan tengkorak kaku dari ekspresi wajah karena misalignment antara gerakan tengkorak dan ekspresi wajah dapat menghasilkan model animasi yang sulit dikendalikan dan tidak cocok untuk gerakan yang tampak alami.

Namun, semua hal tersebut sulit dicapai karena metode stabilisasi yang ada memiliki beberapa kelemahan. Metode‑metode ini kesulitan bekerja dengan kumpulan ekspresi yang jarang dan sangat berbeda, seperti ketika menggabungkan beberapa unit dari Facial Action Coding System (FACS). Meskipun ada metode lain, tim EA menemukan bahwa metode‑metode tersebut tidak cukup kuat.

Sebagai solusi, tim EA memanfaatkan kemajuan terbaru dalam neural signed distance fields dan differentiable isosurface meshing untuk menghitung transformasi kaku stabilisasi tengkorak secara langsung pada mesh segitiga tidak terstruktur atau point cloud. Pendekatan mereka secara signifikan meningkatkan akurasi dan ketahanan.

Tim tidak berhenti di situ. Mereka memperkenalkan konsep “stable hull” sebagai permukaan irisan boolean dari pemindaian yang distabilkan, analog dengan “visual hull” (dalam shape‑from‑silhouette) dan “photo hull” (dalam space carving). Stable hull menyerupai tengkorak dengan lapisan jaringan lunak minimal, dan gigi atas secara otomatis termasuk. 

Tim mengklaim bahwa algoritma pemotongan tengkorak mereka secara simultan mengoptimalkan bentuk stable hull dan transformasi kaku untuk mendapatkan stabilisasi akurat dari ekspresi kompleks bagi beragam orang, melampaui metode yang ada.

EA telah lama mendukung pemanfaatan AR secara bijaksana. Pada tahun 2017, CEO EA menyebut AR sebagai ‘lebih menarik.’ EA memperkenalkan Cranium Technology dalam EA SPORTS FC™ 25. Teknologi tersebut menawarkan kontrol presisi atas banyak aspek model kepala karakter dalam game.

Pengguna dapat memanfaatkan teknologi ini untuk memahat dan memberi tekstur guna merancang model kepala karakter dengan semangat kreator. Teknologi ini menawarkan lebih dari sekadar pembentukan—ia memungkinkan animasi wajah pengguna bergerak secara alami, meningkatkan imersi dan realisme. 

Menurut laporan keuangan terbaru yang tersedia, total pemesanan bersih EA untuk Q3 FY25 mencapai US$2,215 miliar.

“Keberhasilan rekaman acara EA SPORTS FC 25 Team of the Year menunjukkan kemampuan tim kreatif kami untuk beradaptasi, berinovasi, dan mengeksekusi secara skala,” kata Andrew Wilson, CEO Electronic Arts.

Pemeta Proyeksi Wajah: Penelitian Berkelanjutan, Peningkatan Konsisten

Penelitian teknologi pemeta proyeksi wajah transformatif yang kami mulai dalam artikel ini tidak tercapai dalam satu hari. Penelitian ini melanjutkan tradisi panjang riset di bidang ini.

Sebagai contoh, pada tahun 2021, peneliti Sekolah Teknik, Tokyo Institute of Technology menerbitkan makalah berjudul ‘High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

Dalam pernyataan pembuka mereka, peneliti mengakui bahwa pemetaan proyeksi dinamis untuk objek bergerak sesuai posisi dan bentuknya merupakan hal mendasar agar realitas tertambah dapat meniru perubahan pada permukaan target.

Mereka secara khusus menangani augmentasi permukaan lengan manusia melalui pemetaan proyeksi dinamis yang dapat meningkatkan aplikasi dalam mode, antarmuka pengguna, prototyping, pendidikan, bantuan medis, dan bidang lainnya. Namun, mereka mengidentifikasi beberapa kelemahan.

Mereka menemukan bahwa metode konvensional mengabaikan deformasi kulit dan memiliki latensi tinggi antara gerakan dan proyeksi, menyebabkan misalignment yang terlihat antara permukaan lengan target dan gambar yang diproyeksikan.

Sebagai solusi, peneliti mengusulkan sistem pemetaan proyeksi dinamis berkecepatan tinggi pada lengan manusia yang bergerak cepat dengan deformasi kulit realistis. Dengan sistem yang dikembangkan, pengguna tidak merasakan misalignment antara permukaan lengan dan gambar yang diproyeksikan.

Untuk menyelesaikan tugas mereka, peneliti pertama kali menggabungkan model permukaan deformabel parametrik mutakhir dengan kompensasi akurasi berbasis regresi yang efisien untuk merepresentasikan deformasi kulit dan memodifikasi koordinat tekstur guna menghasilkan gambar cepat dan akurat untuk pemetaan proyeksi berbasis pelacakan sendi.

Sebagai langkah kedua, peneliti mengembangkan sistem berkecepatan tinggi yang memberikan latensi antara gerakan dan proyeksi di bawah 10 ms, yang umumnya tidak terdeteksi oleh penglihatan manusia. 

Penelitian serupa dilakukan oleh tim peneliti pada tahun 2017. Tim tersebut memiliki kolaborator dari Disney Research, Princeton University, Chalmers University, dan Osaka University. Penelitian tersebut berjudul ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

Dalam makalah tersebut, peneliti mengusulkan sistem pertama untuk augmentasi dinamis langsung pada wajah manusia. Dengan iluminasi berbasis proyektor, mereka mengubah penampilan performer manusia selama pertunjukan baru. Tantangan utama augmentasi langsung, bagaimanapun, adalah latensi.

Sebuah gambar dihasilkan berdasarkan pose tertentu tetapi ditampilkan pada konfigurasi wajah yang berbeda pada saat gambar tersebut diproyeksikan. Sistem yang diusulkan oleh peneliti bertujuan mengurangi latensi pada setiap langkah proses, mulai dari penangkapan, pemrosesan, hingga proyeksi. 

Dengan iluminasi inframerah, kamera berkecepatan tinggi yang selaras secara optik dan komputasional mendeteksi orientasi serta ekspresi wajah. Bentuk campuran ekspresi yang diperkirakan dipetakan ke ruang berdimensi lebih rendah, dan gerakan serta deformasi non‑rigid wajah diperkirakan, dilicinkan, serta diprediksi melalui filter Kalman adaptif. Akhirnya, penampilan yang diinginkan dihasilkan dengan menginterpolasi tekstur offset yang telah dipra‑hitung berdasarkan waktu, posisi global, dan ekspresi. 

Peneliti mengevaluasi sistem mereka melalui prototipe CPU dan GPU yang dioptimalkan dan menunjukkan augmentasi berlatensi rendah yang berhasil untuk berbagai performer dan pertunjukan dengan variasi kecepatan gerakan dan ekspresi wajah.

Peneliti mengklaim, berlawanan dengan metode yang ada, bahwa sistem yang mereka presentasikan adalah metode pertama yang sepenuhnya mendukung pemetaan proyeksi wajah dinamis tanpa memerlukan penanda pelacakan fisik dan mengintegrasikan ekspresi wajah.

Pemeta proyeksi wajah dan penelitian untuk mencapai output yang distabilkan tanpa latensi serta misalignment bukanlah hal baru. Peneliti telah secara intensif mengejar jalur ini karena kemampuan transformatifnya. Teknik DFPM terbaru jelas merupakan terobosan dan akan membantu mereimajinasikan hiburan dengan aspek kinerja yang ditingkatkan. 

Klik di sini untuk daftar saham realitas tertambah & realitas virtual teratas.

Referensi Studi:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually‑Aligned Dynamic Facial Projection Mapping by High‑Speed Face‑Tracking Method and Lens‑Shift Co‑Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128