Dinamik Yüz Projeksiyon Haritalamasıyla Eğlence Endüstrasını Yeniden Hayal Etmek

Artırılmış Gerçeklik, ya da AR, zaten eğlence endüstrisi için devrim niteliğinde değerini kanıtladı. Kullanılmaktadır oyun, film, canlı etkinlikler, tema parkları, müzeler ve sergiler, tiyatro ve performanslar, televizyon, reklam, sosyal medya, e-spor, turizm, moda, sanat, müzik ve dans, hatta çizgi roman ve grafik romanlar ya da sihir gösterileri gibi alanlarda.

Bir piyasa tahmini AR & VR pazarının eğlence endüstrisi için 2030 yılına kadar 30 milyar ABD Dolarına ulaşabileceğini, 2024-2030 döneminde yıllık %19 civarında bir bileşik yıllık büyüme oranı (CAGR) ile büyüyeceğini öne sürüyor.

Rapor, eğlence sektöründe AR’nin büyümesini tetikleyen çeşitli faktörleri belirledi. Örneğin, AR’nin kullanılması içerik üreticilerinin gerçeklik ile kurgu arasındaki sınırları bulanıklaştıran sürükleyici anlatılar oluşturmasına yardımcı oldu; bu da izleyicileri hikâye anlatımına aktif katılımcılar haline getirerek etkileşimi ve duygusal bağları güçlendirdi. AR & VR ayrıca bireysel tercihlere göre kişiselleştirilmiş deneyimler oluşturulmasını sağladı.

Veri analitiği ile AR’yi birleştirerek eğlence şirketleri içerik, öneri ve hatta reklamları özelleştirebilir. Ancak bunların hepsi sadece buzdağının görünen kısmı olarak nitelendirilebilir.

AR, belirli teknolojik yeniliklerle çok daha fazlasını başarabilir. İlerleyen bölümde, DFPM (Dinamik Yüz Projeksiyon Haritalaması) adlı bir teknolojiye odaklanan çığır açıcı bir yenilikten bahsedeceğiz. 

DFPM: Nedir?

Bu, görüntülerin insan yüzlerine projekte edilerek gerçek zamanlı görünümlerinin değiştirilmesini sağlayan yeni bir artırılmış gerçeklik tekniğidir. Başka bir deyişle, yöntem, gelişmiş yüz izleme kullanarak projeksiyonların hareket ve ifadelerle sorunsuz bir şekilde uyum sağlamasını sağlayarak dinamik görselleri bir kişinin yüzüne gerçek zamanlı olarak yansıtmaktadır.

Kaynak: Disney Research

Teknoloji büyük bir potansiyele sahip ve sanatsal hayal gücünün sınırlarını zorlayabilecek nitelikte olsa da, teknik zorluklarla karşı karşıyadır. Kısacası, bu sorun hizalama problemi olarak görülebilir. 

Yeni bir çalışma Institute of Electrical and Electronics Engineers dergisinde yayımlanmıştır¹ hizalama sorununu ele almaktadır. Ancak çözüme daha derinlemesine girmeden önce sorunun ne olduğunu inceleyelim.

Sanal gerçekliğin geleceğine yatırım hakkında bilgi edinmek için buraya tıklayın.

DFPM Uygulamasında Hizalama Sorunu

Hareketli bir yüze görselleri projekte etmek, DFPM sisteminin kullanıcının göz, burun ve ağız gibi yüz özelliklerini bir milisaniyeden daha kısa bir sürede tespit etmesini gerektirir. Kamera ve projektörün görüntü koordinatları arasındaki en ufak gecikmeler ya da mikroskobik hizalama hataları, projeksiyon hatalarına – yani “hizalama bozukluklarına” – yol açabilir. Bu hatalar belirgin olup, immersiyon kalitesini olumsuz etkiler ve hatta immersiyonu tamamen bozabilir.

Japonya, Tokyo Bilim Enstitüsü’nden bir araştırma ekibi, DFPM’deki mevcut zorluklara çözüm bulmak için çalıştı. Associate Professor Yoshihiro Watanabe liderliğindeki ekip, ayrıca lisansüstü öğrenci Hao‑Lun Peng’i de içeriyordu. Çalışmalarında, ‘hizalama bozukluklarını’ azaltmaya yönelik kavramlar önerdiler. 

Hizalama Bozukluklarını Azaltmak İçin İki Öneri ‘‘ 

Tokyo’da çalışan iki araştırmacının makalesi uzun bir başlığa sahiptir; bu tür makalelerde sıkça görülür. Ancak ele aldıkları problem oldukça basittir: Projeksiyon görüntüleri ile hedef yüzler arasındaki hizalama bozukluklarını azaltmak, DFPM için sürekli bir zorluk olduğuna inanıyorlar.

Araştırmacılar hedeflerine ulaşmak için iki öneri sundular. İlk konsept, zamansal bilgiyi kullanacak yüksek hızlı bir yüz izleme yöntemi önerdi. Çabaları kapsamında, araştırmacılar önce yüz işaret noktası tespitiyle paralel çalışabilen, kırpılmış alan sınırlı bir iç/ekstrapolasyon tabanlı yüz tespit çerçevesi tanıttılar.

Araştırmacılar daha sonra, hızlı Ensemble of Regression Trees (ERT) tabanlı tespitleri ve yardımcı bir tespiti birleştiren yeni bir hibrit yüz işaret noktası tespit yöntemi önerdiler. ERT tabanlı tespitler, yardımcı tespitin desteğiyle tespit hatalarından kurtulmak için zamansal bilgi kullanarak 0.107 ms içinde hızlı sonuçlar üretti.

Yüz işaret noktası tespit yöntemini eğitmek için, araştırmacılar yüksek kare hızı video anotasyonlarını simüle eden yenilikçi bir yöntem önerdiler; bu, halka açık yüksek kare hızı anotasyonlu veri setlerinin eksikliğini gidermek içindi.

İkinci konsept, 1 m ile 2 m derinlik arasında yalnızca 1.274 piksel hata ile yüksek optik hizalamayı koruyabilen, lens kaydırmalı koaksiyel projektör‑kamera kurulumu içeriyordu; bu, geleneksel yöntemlerde görülen büyük hizalama hatalarını önlemek için projektör ve kameraya aynı optik tasarımların uygulanmasıyla sağlandı.

Bu kavramların uygulanması, araştırmacıların insan görsel algısına neredeyse mükemmel bir hizalama sağlayan yeni bir yüksek hızlı DFPM sistemi geliştirmelerine yol açabilir.

AR/VR sınırını yeniden tanımlayan şirketlerin listesi için buraya tıklayın.

Başarıların Özeti

Araştırmanın yüksek teknolojik yönlerinden uzaklaşıp, uygulama perspektifinden ne elde edebileceğini anlamaya çalışırsak, bulgular şu şekilde olacaktır:

Önerilen kurulum, 1‑2 m derinlikte 1.3 pikselin altında bir hata ile olağanüstü yüksek optik hizalama sağlayabilir. Kurulum daha hızlı işlem yapar ve dinamik senaryolarda yüksek doğruluk sunar.

Ayrıca süreç sırasında araştırmacılar, modelleri eğitmek için yüksek hızlı video anotasyonlarını simüle eden bir yöntem geliştirdiler.

Genel olarak, sonuçlar canlı performanslar, moda gösterileri ve sanatsal sunumlar için daha etkileyici ve hiper‑gerçekçi efektler oluşturulmasına yardımcı olmalıdır.

Araştırmacılar teknolojiyi ve eğlence endüstrisindeki uygulamalarını daha da hassaslaştırmaya devam ederken, işletmeler de sundukları hizmetleri geliştirmek için gerekli gördükleri iyileştirmeleri yapmaktadır.

İlerleyen bölümlerde, AR ve eğlencenin kesiştiği alanda önemli adımlar atan iki şirketi inceleyeceğiz. 

1. Walt Disney (DIS )

Kasım ayında yayımlanan raporlar geçen yıl Disney’in yapay zeka ve karma gerçeklik gibi yeni nesil teknolojileri geliştirmek ve dağıtmak için yeni bir stratejik grup oluşturduğunu gösterdi. Bu grup “Technology Enablement Office” (Teknoloji Etkinleştirme Ofisi) olarak adlandırıldı.

Walt Disney Studios’ta 14 yıl CTO olarak görev yapan Jamie Voris, yeni kurulan bölümü yönetmek üzere seçildi. Voris, yeni görevinde Disney Entertainment eş‑başkanı Alan Bergman’e raporlayacaktı.

Bir iç memorandumda – yeni bölümün lansmanından önce dağıtılan bir notta Bergman şunları söylemiştir:

“Teknolojik ilerlemelerin öncüsü konumumuzu sürdürme yeteneğimiz, ilerledikçe daha da kritik hâle gelecek – bu da insanlarımızı, yaratıcılığımızı ve işimizi güçlendiren yeni teknolojik değişimleri anlamamızı ve benimsememizi daha da önemli kılıyor.”

Aynı notta Bergman, Technology Enablement Office’ın Disney’i “yapay zeka ve karma gerçeklikte ilerici, yenilikçi ve sorumlu bir lider” olarak konumlandırma görevini üstlendiğini belirtti.

Daha da önemlisi, Bergman, genişletilmiş gerçekliğin (XR) hızı ve kapsamının, AR’yi en önemli bileşenlerinden biri olarak, Disney’in tüketici deneyimlerini, yaratıcı çabalarını ve iş modelini yıllarca etkileyecek kadar derin olduğunu kabul etti.

Uzmanlar ve sektör analistleri, Disney’in bu teknolojileri çok yönlü bir şekilde kullanacağını düşünüyor. Keşif, şirketin çeşitli iş birimlerine yayılacak.

Örneğin tema parkları alanında şirket, AR ve VR’nin ziyaretçi deneyimlerini iyileştirebileceğini araştırmak için özel bir ekip kuruyor; bu da sektördeki geniş trendlerle uyumlu. Liderlik hamlesi olarak Kyle Laughlin de yakın zamanda Disney’e geri döndü.

Walt Disney Imagineering’de araştırma ve geliştirme yeni kıdemli başkan yardımcısı olarak görev yapan Kyle, AR, VR ve AI konularındaki geçmişi sayesinde tema parkı atraksiyonlarında yenilikçiliği yönlendirecek.

Aralık 2021’deki raporlara göre Disney Corporation, Florida’daki Disney World tema parkında (Magic Kingdom) ziyaretçileri kontrol etmek amacıyla yüz tanıma yazılımı denemekteydi.

Disney’in içerik deposu için oluşturulan otomatik etiketleme hattı, yüz tespiti ve tanıma modülleriyle donatıldı ve bu modüller Disney’in içerik kütüphanesine (diziler, filmler vb.) uygulandı.

28 Eylül 2024 tarihinde, The Walt Disney Company (NYSE: DIS) dördüncü çeyrek ve tam yıl kazançlarını açıkladı. Gelirler, önceki yılın aynı çeyreğine göre %6 artarak 22,6 milyar dolar, yıllık ise %3 artarak 91,4 milyar dolar oldu.

2. Electronic Art Inc.  (EA )

Eğlence alanında AR teknolojileri ve yüz tanıma konusundaki çalışmalarıyla dikkat çeken bir diğer şirket Electronic Arts (EA)’dir. Şirket, 2024 Tokyo, Japonya’da düzenlenen SIGGRAPH Asia konferansında kafatası oyma teorisini sundu.

Şirket, yüz hareketlerinin doğru bir şekilde sabitlenmesinin 3D oyunlar, sanal gerçeklik, filmler ve makine öğrenimi eğitim verileri için foto‑gerçekçi avatarlar oluşturmak açısından kritik olduğuna inanıyordu. Özellikle son durumda, kaynak veri farklı morfolojilere sahip bir insan popülasyonu olduğunda yüz sabitlemenin hızlı ve otomatik çalışması gerekiyordu.

EA sunumcuları, kafatası hareketleri ile yüz ifadeleri arasındaki hizalama hatalarının kontrolü zor ve doğal hareketli animasyon modelleri üretmek için uygun olmadığını vurguladı.

Ancak mevcut sabitleme yöntemleri, çok farklı ifadelerden oluşan seyrek veri setleriyle çalışmakta zorlanıyordu; FACS (Facial Action Coding System) birimlerini birleştirirken bile yetersizdi. Diğer yöntemler de yeterince dayanıklı bulunmadı.

Çözüm olarak EA ekibi, sinirsel imzalı mesafe alanları ve türevlenebilir izosurface örgüleme konusundaki son gelişmeleri kullanarak, kafatası sabitleme rijit dönüşümlerini yapılandırılmamış üçgen örgüler veya nokta bulutları üzerinde doğrudan hesapladı. Bu yaklaşım doğruluk ve dayanıklılığı önemli ölçüde artırdı.

Ekip burada durmadı. “stable hull” (kararlı kabuk) kavramını tanıttı; bu, stabilize edilmiş taramaların Boolean kesişiminin yüzeyi olup, “visual hull” (görsel kabuk) ve “photo hull” (fotoğrafik kabuk) kavramlarına benzer. Kararlı kabuk, minimal yumuşak doku kalınlığıyla kaplanmış bir kafatası ve üst dişleri otomatik olarak içerir.

Ekip, kafatası oyma algoritmalarının aynı anda kararlı kabuk şeklini ve rijit dönüşümleri optimize ederek, çeşitli insan grupları için karmaşık ifadelerin doğru sabitlenmesini sağladığını ve mevcut yöntemlerin ötesinde performans gösterdiğini iddia etti.

EA uzun süredir AR’yi dikkatli bir şekilde kullanmayı savunuyor. 2017 yılında EA CEO’su, AR’yi ‘daha ilginç’ olarak nitelendirmişti. EA SPORTS FC™ 25’te Cranium Technology’i tanıttı; bu teknoloji oyun karakterinin kafa modelinin birçok yönü üzerinde hassas kontrol sağladı.

Kullanıcılar bu teknolojiyi heykelleştirme ve doku oluşturma için kullanarak bir karakterin kafa modelini bir yaratıcı ruhuyla tasarlayabilir. Sadece şekillendirmeden öte, kullanıcının yüzünü doğal bir şekilde hareket ettirerek immersiyon ve gerçekçiliği artırdı.

En son mevcut finansal rapora göre, EA’nın FY25 Q3 net rezervleri 2,215 milyar ABD Doları olarak gerçekleşti.

“EA SPORTS FC 25 Team of the Year etkinliğimizin rekor başarısı, yaratıcı ekiplerimizin ölçekli bir şekilde uyum sağlama, yenilik yapma ve uygulama yeteneğini gösteriyor,” dedi Electronic Arts CEO’su Andrew Wilson.

Yüz Projeksiyon Haritalaması: Araştırmanın Devamı, Sürekli İyileşme

Makalemizin başında bahsettiğimiz dönüştürücü yüz projeksiyon haritalama teknolojisi bir günde elde edilmedi. Bu alan uzun bir araştırma geleneğini devam ettiriyor.

Örneğin, 2021 yılında Tokyo Teknoloji Enstitüsü Mühendislik Okulu araştırmacıları ‘İnsan Kolunda Gerçekçi Cilt Deformasyonu ile Yüksek Hızlı Dinamik Projeksiyon Haritalaması’ başlıklı bir makale yayımladılar.²

Açılış açıklamalarında araştırmacılar, hareketli bir nesnenin konum ve şekline göre dinamik projeksiyon haritalamanın, artırılmış gerçekliğin hedef yüzeydeki değişiklikleri yansıtması için temel olduğunu kabul ettiler.

Özellikle insan kolu yüzeyini dinamik projeksiyon haritalamasıyla artırarak moda, kullanıcı arayüzleri, prototipleme, eğitim, tıbbi yardım ve diğer alanlarda uygulamaları geliştirmeyi hedeflediler; ancak bazı eksiklikler de tespit ettiler.

Geleneksel yöntemlerin cilt deformasyonunu göz ardı ettiğini ve hareket ile projeksiyon arasındaki gecikmenin yüksek olduğunu, bu durumun hedef kol yüzeyi ile projekte edilen görüntüler arasında belirgin hizalama hatalarına yol açtığını buldular.

Çözüm olarak, araştırmacılar gerçekçi cilt deformasyonu ile hızlı hareket eden bir insan kolu üzerine yüksek hızlı dinamik projeksiyon haritalama sistemi önerdiler. Geliştirilen sistemle kullanıcı, kol yüzeyi ile projekte edilen görüntüler arasında hiçbir hizalama hatası algılamadı.

Görevlerini yerine getirmek için araştırmacılar, cilt deformasyonunu temsil eden son teknoloji parametrik deformabl yüzey modelini verimli regresyon tabanlı doğruluk telafisiyle birleştirdiler ve doku koordinatlarını, eklem takibi tabanlı projeksiyon haritalaması için hızlı ve doğru görüntü üretimini sağlamak amacıyla değiştirdiler.

İkinci adımda, araştırmacılar hareket ile projeksiyon arasındaki gecikmeyi 10 ms’nin altına düşüren yüksek hızlı bir sistem geliştirdiler; bu gecikme insan görmesi tarafından genellikle algılanamazdı.

Benzer bir araştırma 2017 yılında yürütüldü. Bu ekip Disney Research, Princeton University, Chalmers University ve Osaka University’den iş birliği yaptı. Araştırmanın başlığı ‘Makeup Lamps: Projeksiyon ile İnsan Yüzlerinin Canlı Artırılması.’³

Makalede araştırmacılar, insan yüzlerinin canlı dinamik artırımı için ilk sistemi önerdiler. Projektör tabanlı aydınlatma kullanarak, yeni performanslar sırasında insan sanatçıların görünümünü değiştirdiler. Ancak canlı artırımın temel zorluğu gecikmeydi.

Bir görüntü belirli bir pozisyona göre oluşturuldu, ancak projeksiyon gerçekleştiğinde farklı bir yüz konfigürasyonu üzerinde gösterildi. Araştırmacıların önerdiği sistem, yakalama, işleme ve projeksiyon aşamalarının her adımında gecikmeyi azaltmayı hedefledi.

Kızılötesi aydınlatma kullanarak, optik ve hesaplamalı olarak hizalanmış yüksek hızlı bir kamera yüz yönelimini ve ifadeyi tespit etti. Tahmini ifade blend şekilleri daha düşük boyutlu bir uzaya haritalandı, yüz hareketi ve rijit olmayan deformasyon tahmin edildi, yumuşatıldı ve adaptif Kalman filtresiyle öngörüldü. Son olarak istenen görünüm, zaman, küresel konum ve ifadeye göre önceden hesaplanmış offset dokularının interpolasyonu ile üretildi.

Araştırmacılar sistemlerini optimize edilmiş bir CPU ve GPU prototipiyle değerlendirdiler ve farklı sanatçılar ve farklı yüz oyunları ve hareket hızlarıyla düşük gecikmeli artırımı başarılı bir şekilde gösterdiler.

Araştırmacılar, mevcut yöntemlerin aksine, sunulan sistemin fiziksel izleme işaretçileri gerektirmeden dinamik yüz projeksiyon haritalamasını tam olarak destekleyen ilk yöntem olduğunu ve yüz ifadelerini de içerdiğini iddia ettiler.

Yüz projeksiyon haritalaması ve gecikme ve hizalama hatası olmadan stabilize edilmiş çıktı elde etmeye yönelik araştırmalar yeni değildir. Araştırmacılar, dönüştürücü yetenekleri nedeniyle bu yolu titizlikle sürdürmektedir. En yeni DFPM tekniği kesinlikle bir atılım olup, performans yönleriyle eğlenceyi yeniden hayal etmemize yardımcı olacaktır. 

En iyi artırılmış gerçeklik ve sanal gerçeklik hisseleri listesi için buraya tıklayın.

Çalışma Referansı:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Algısal Olarak Hizalanmış Dinamik Yüz Projeksiyon Haritalaması Yüksek Hızlı Yüz İzleme Yöntemi ve Lens-Shift Koaksiyel Kurulum ile. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Gerçekçi Cilt Deformasyonu ile İnsan Kolunda Yüksek Hızlı Dinamik Projeksiyon Haritalaması. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Projeksiyon ile İnsan Yüzlerinin Canlı Artırılması. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128