동적 얼굴 투사 매핑을 통한 엔터테인먼트 산업 재구상

증강 현실(AR)은 이미 엔터테인먼트 산업에 혁신적인 가치를 입증했습니다. 게임, 영화, 라이브 이벤트, 테마파크, 박물관 및 전시, 연극 및 공연, 텔레비전, 광고, 소셜 미디어, e-스포츠, 관광, 패션, 예술, 음악 및 무용, 그리고 심지어 만화와 그래픽 소설 또는 마술 쇼까지 다양한 분야에서 사용되고 있습니다.

하나의 시장 추정에 따르면 엔터테인먼트 산업을 위한 AR·VR 시장이 2030년까지 미화 300억 달러에 이를 수 있으며, 2024‑2030년 예측 기간 동안 연평균 성장률(CAGR)이 거의 19%에 달할 것으로 예상됩니다.

보고서는 AR이 엔터테인먼트 분야에서 성장하게 만든 여러 동인 요인을 확인했습니다. 예를 들어, AR을 도입함으로써 콘텐츠 제작자는 현실과 허구의 경계를 흐리는 몰입형 내러티브를 만들 수 있었고, 관객은 스토리텔링에 적극적으로 참여하게 되어 참여도와 감정적 연결이 강화되었습니다. AR·VR은 또한 개인별 선호에 맞춘 맞춤형 경험을 구축하는 데 도움을 주었습니다.

AR과 결합된 데이터 분석을 활용하면 엔터테인먼트 기업은 콘텐츠, 추천, 심지어 광고까지 맞춤화할 수 있었습니다. 하지만 이는 빙산의 일각에 불과합니다.

특정 기술 혁신과 결합한다면 AR은 훨씬 더 많은 것을 이룰 수 있습니다. 다음 섹션에서는 DFPM, Dynamic Facial Projection Mapping이라는 기술을 중심으로 한 획기적인 혁신에 대해 논의합니다.

DFPM: 무엇인가?

이 기술은 이미지가 인간의 얼굴에 투사되어 실시간 외모를 변화시키는 새로운 증강 현실 기법입니다. 다시 말해, 고급 얼굴 추적을 이용해 투사된 시각 자료가 움직임과 표정에 매끄럽게 맞춰지도록 하여 사람의 얼굴에 동적인 비주얼을 실시간으로 투사하는 방법입니다.

출처: Disney Research

이 기술은 엄청난 잠재력을 가지고 있어 예술적 상상의 한계를 크게 뛰어넘을 수 있지만, 기술적 과제 때문에 어려움을 겪고 있습니다. 간단히 말해, 이 문제는 정렬 불일치 문제로 볼 수 있습니다.

새로운 연구 IEEE 저널에 발표된¹ 연구는 정렬 불일치 문제를 다룹니다. 하지만 해결책을 깊이 파고들기 전에, 먼저 문제 자체를 살펴보겠습니다.

가상 현실의 미래에 대한 투자 정보를 보려면 여기를 클릭하세요.

DFPM 배치 시 정렬 불일치 문제

움직이는 얼굴에 시각 자료를 투사하려면 DFPM 시스템이 1밀리초 미만의 시간 안에 사용자의 눈, 코, 입 등 얼굴 특징을 감지해야 합니다. 카메라와 프로젝터의 이미지 좌표 사이에 아주 작은 지연이나 미세한 정렬 불일치가 발생하면 투사 오류, 즉 “정렬 불일치 아티팩트”가 발생합니다. 이러한 오류는 눈에 띄게 나타나 몰입감의 품질을 저하시킬 수 있으며, 최악의 경우 몰입 자체를 망칠 정도에 이릅니다.

일본 도쿄 과학 연구소의 연구팀은 DFPM의 기존 과제에 대한 해결책을 찾기 위해 연구를 시작했습니다. 요시히로 와타나베 부교수와 대학원생 펑 하오-룬(Peng Hao‑Lun) 씨가 팀을 이끌었습니다. 그들의 연구에서는 ‘정렬 불일치 아티팩트’를 감소시키는 개념들을 제안했습니다.

‘정렬 불일치 아티팩트’ 감소를 위한 두 가지 제안

도쿄에 기반을 둔 두 연구자의 논문은 제목이 길지만, 다루는 문제는 간단히 이해할 수 있습니다. 앞서 인용한 바와 같이, 이 논문은 프로젝션 이미지와 대상 얼굴 사이의 정렬 불일치 아티팩트를 줄이는 것을 목표로 하고 있습니다.

연구자들은 목표를 달성하기 위해 두 가지 제안을 했습니다. 첫 번째 개념은 시간 정보를 활용하는 고속 얼굴 추적 방법을 제안했습니다. 이를 위해 연구자들은 먼저 얼굴 랜드마크 감지와 병렬 실행이 가능한, 잘라낸 영역 제한형 인터/외삽 기반 얼굴 검출 프레임워크를 도입했습니다.

그 다음 연구자들은 빠른 Ensemble of Regression Trees(ERT) 기반 검출과 보조 검출을 결합한 새로운 하이브리드 얼굴 랜드마크 검출 방법을 제안했습니다. ERT 기반 검출은 보조 검출의 지원을 받아 시간 정보를 활용해 0.107 ms 안에 빠른 결과를 도출하고, 검출 오류를 복구했습니다.

얼굴 랜드마크 검출 방법을 학습시키기 위해, 연구자들은 공개된 고프레임 레이트 주석 데이터셋이 부족한 문제를 해결하고자 고프레임 레이트 비디오 주석을 시뮬레이션하는 혁신적인 방법을 제안했습니다.

두 번째 개념은 1 m에서 2 m 깊이 사이에서 1.274 픽셀 오차만을 보이는 렌즈‑시프트 공동축 프로젝터‑카메라 설정을 포함했습니다. 이는 기존 방식에서 발생하는 큰 정렬 불일치를 피하면서, 프로젝터와 카메라에 동일한 광학 설계를 적용해 정렬 오류를 감소시킵니다.

이러한 개념들을 적용하면 연구자들은 인간 시각 인지와 거의 완벽에 가까운 정렬을 달성하는 새로운 고속 DFPM 시스템을 개발할 수 있을 것으로 기대됩니다.

AR/VR 최전선을 재정의하는 기업 목록을 보려면 여기를 클릭하세요.

성과 요약

연구의 고도 기술적 측면을 떠나 적용 관점에서 어떤 성과를 기대할 수 있는지 살펴보면 다음과 같습니다:

제안된 설정은 1‑2 m 깊이에서 1.3 픽셀 미만의 매우 높은 광학 정렬을 달성할 수 있습니다. 이 설정은 처리 속도를 높이고 동적 상황에서 높은 정확성을 제공합니다.

또한, 연구 과정에서 연구자들은 모델 학습을 위한 고속 비디오 주석 시뮬레이션 방법을 개발했습니다.

전체적으로, 이러한 결과는 라이브 퍼포먼스, 패션 쇼, 예술 프레젠테이션 등에 보다 설득력 있고 초현실적인 효과를 구현하는 데 도움이 될 것입니다.

연구자들이 기술과 엔터테인먼트 산업 적용에 대한 정밀도를 지속적으로 높여 나가고 있는 한, 기업들도 자사의 제품과 서비스를 개선하기 위해 필요한 조치를 취하고 있습니다.

다음 섹션에서는 AR과 엔터테인먼트가 교차하는 영역에서 눈에 띄는 성과를 거둔 두 기업을 살펴보겠습니다.

1. Walt Disney

2023년 11월에 발표된 보고서에 따르면 디즈니는 인공지능 및 혼합 현실과 같은 차세대 기술을 개발·배포하는 방식을 관리·조정하기 위한 새로운 전략 그룹을 만들었습니다. 이 그룹은 Office of Technology Enablement(기술 활성화 사무소)라고 불렸습니다.

워즈 스튜디오 CTO를 14년간 역임한 제이미 보리스가 새로 만든 부서를 이끌도록 선정되었습니다. 보리스는 새로운 역할에서 디즈니 엔터테인먼트 공동 의장인 앨런 버그먼에게 보고하게 됩니다.

신규 부서 출범 전 내부 메모가 배포되었으며, 그 메모에서 버그먼은 다음과 같이 말했습니다:

“기술 혁신의 최전선에 머무르는 우리의 역량은 앞으로 더욱 중요해질 것이며, 이는 우리 직원, 창의성, 비즈니스를 지원하는 새로운 기술 변화를 이해하고 수용하는 것이 필수적임을 의미합니다.”

같은 메모에서 버그먼은 Office of Technology Enablement가 디즈니를 “AI와 혼합 현실 분야에서 진보적이고 혁신적이며 책임감 있는 리더”로 만들 책임이 있다고 강조했습니다.

더욱 중요한 점은, 버그먼이 연장 현실 분야의 진보 속도와 범위가 심오하며 앞으로도 디즈니의 소비자 경험, 창의적 시도, 비즈니스에 지속적인 영향을 미칠 것이라고 인정한 것입니다.

전문가와 업계 분석가들은 디즈니가 이러한 기술을 다각도로 활용할 것으로 보고 있습니다. 탐구는 다양한 사업 부문에 걸쳐 진행될 예정입니다.

예를 들어 테마파크 부문에서는 AR·VR이 방문객 경험을 향상시킬 수 있는 방안을 조사하기 위해 전담 팀을 구성하고 있으며, 이는 업계 전반의 트렌드와도 일치합니다. 최근에는 카일 라플린이 디즈니에 복귀했습니다.

카일 라플린은 Walt Disney (DIS ) (WDP.DE ) Imagineering의 연구·개발 수석 부사장으로 임명되었으며, 그의 AR·VR·AI 배경이 테마파크 어트랙션 혁신을 주도할 것으로 기대됩니다.

2021년 12월 보도에 따르면 디즈니는 플로리다 주의 디즈니 월드(매직 킹덤) 입장객을 확인하기 위해 얼굴 인식 소프트웨어를 시험 운영하고 있었습니다.

디즈니 콘텐츠 저장소를 위해 자동 태깅 파이프라인을 구축했으며, 여기에는 얼굴 검출 및 인식 모듈이 포함되어 디즈니의 쇼·영화 등 콘텐츠 라이브러리에 적용되었습니다.

2024년 9월 28일, The Walt Disney Company (NYSE: DIS)는 2024 회계연도 4분기 및 연간 실적을 발표했습니다. 4분기 매출은 전년 동기 대비 6% 상승한 226억 달러였으며, 연간 매출은 전년 대비 3% 증가한 914억 달러를 기록했습니다.

2. Electronic Art Inc.  

증강 현실 기술과 얼굴 인식을 크게 향상시키는 작업을 진행해 온 또 다른 엔터테인먼트 기업은 Electronic Arts (EA ), 즉 EA입니다. 이 회사는 2024년 SIGGRAPH Asia(일본 도쿄)에서 두개골 조각을 통한 안정화 이론을 발표했습니다.

EA는 얼굴 움직임을 정확히 안정화하는 것이 3D 게임, 가상 현실, 영화, 머신러닝 학습 데이터용 포토리얼 아바타를 만드는 데 필수적이라고 믿었습니다. 특히 후자의 경우, 다양한 형태의 사람들로 구성된 데이터셋에서 얼굴 안정화가 빠르고 자동으로 이루어져야 한다고 강조했습니다.

EA 발표자는 두개골의 강직 움직임과 얼굴 표정을 구분하는 것이 중요하다고 주장했습니다. 두개골 움직임과 얼굴 표정 사이의 정렬 불일치는 제어가 어려운 애니메이션 모델을 초래하고, 자연스러운 움직임을 구현하기 어렵게 만들기 때문입니다.

하지만 기존 안정화 방법은 몇 가지 단점을 가지고 있어 이러한 목표를 달성하기 어려웠습니다. 이들 방법은 매우 다양한 표정 집합을 다루는 데 어려움을 겪었으며, 특히 얼굴 행동 코딩 시스템(FACS)의 여러 유닛을 결합할 때 문제가 발생했습니다. 다른 방법들도 있었지만 EA 팀은 충분히 견고하지 않다고 판단했습니다.

해결책으로 EA 팀은 최신 신경 서명 거리장(neural signed distance fields)과 미분 가능한 등면 메싱(differentiable isosurface meshing)을 활용해 비구조화 삼각형 메쉬 또는 포인트 클라우드 상에서 직접 두개골 안정화 강직 변환을 계산했습니다. 이 접근법은 정확도와 견고성을 크게 향상시켰습니다.

팀은 여기서 멈추지 않고 “stable hull”(안정된 껍질) 개념을 도입했습니다. 이는 안정화된 스캔들의 불리언 교차면을 나타내는 표면으로, shape‑from‑silhouette의 “visual hull” 및 space carving의 “photo hull”과 유사합니다. stable hull은 최소한의 연부 조직 두께를 가진 두개골 형태이며, 상악 치아가 자동으로 포함됩니다.

팀은 자신들의 두개골 조각 알고리즘이 안정된 hull 형태와 강직 변환을 동시에 최적화해 다양한 사람들의 복잡한 표정을 정확히 안정화시키며 기존 방법을 능가한다고 주장했습니다.

EA는 오랫동안 AR을 신중히 활용해 왔습니다. 2017년 EA CEO는 AR을 “더 흥미롭다”고 평가했으며, EA SPORTS FC™ 25에 Cranium Technology를 도입했습니다. 이 기술은 게임 캐릭터의 머리 모델을 정밀하게 제어할 수 있게 했습니다.

사용자는 이 기술을 활용해 캐릭터의 머리 모델을 조각하고 텍스처링하여 창작자의 정신을 담을 수 있었습니다. 단순히 형태를 만드는 것을 넘어, 사용자의 얼굴을 자연스럽게 움직이게 하여 몰입감과 사실성을 크게 높였습니다.

최신 재무 보고서에 따르면 EA의 FY25 3분기 순 예약액은 미화 22억 1500만 달러에 달했습니다.

“EA SPORTS FC 25 Team of the Year 이벤트의 사상 최고 성공은 우리 크리에이티브 팀이 규모에 맞게 적응·혁신·실행할 수 있는 능력을 보여줍니다.”라고 Electronic Arts CEO인 앤드류 윌슨이 말했습니다.

Facial Projection Mapping: 지속적인 연구와 꾸준한 개선

우리가 기사 서두에서 소개한 변혁적인 얼굴 투사 매핑 기술 연구는 하루아침에 이룬 것이 아닙니다. 이 분야는 오랜 연구 전통을 이어오고 있습니다.

예를 들어 2021년, 도쿄공대 공학부 연구진은 ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation’이라는 논문을 발표했습니다.

연구진은 서두에서 동적 투사 매핑이 움직이는 물체의 위치와 형태에 따라 변하는 것이 증강 현실이 목표 표면의 변화를 재현하는 데 기본이라고 인정했습니다.

그들은 특히 패션, 사용자 인터페이스, 프로토타이핑, 교육, 의료 지원 등 다양한 분야에서 활용될 수 있는 인간 팔 표면을 동적 투사 매핑으로 보강하는 연구를 진행했으며, 몇 가지 단점을 발견했습니다.

전통적인 방법은 피부 변형을 무시하고 움직임과 투사 사이에 높은 지연을 발생시켜, 목표 팔 표면과 투사 이미지 사이에 눈에 띄는 정렬 불일치를 초래했습니다.

해결책으로 연구진은 실제 피부 변형을 구현한 고속 동적 투사 매핑 시스템을 제안했습니다. 이 시스템을 사용하면 사용자는 팔 표면과 투사 이미지 사이에 어떠한 정렬 불일치도 인지하지 못합니다.

작업을 수행하기 위해 연구진은 최첨단 파라메트릭 변형 표면 모델과 효율적인 회귀 기반 정확도 보정 기법을 결합해 피부 변형을 표현하고, 텍스처 좌표를 수정해 관절 추적 기반의 빠르고 정확한 이미지 생성을 구현했습니다.

두 번째 단계에서는 움직임과 투사 사이의 지연을 10 ms 이하로 낮춘 고속 시스템을 개발했으며, 이는 인간 시각으로는 거의 감지되지 않는 수준이었습니다.

유사한 연구가 2017년에도 수행되었습니다. 이 팀은 Disney Research, Princeton University, Chalmers University, Osaka University와 협업했으며, 연구 제목은 ‘Makeup Lamps: Live Augmentation of Human Faces via Projection’이었습니다.

논문에서 연구진은 인간 얼굴을 실시간으로 동적으로 보강하는 최초의 시스템을 제안했습니다. 프로젝터 기반 조명을 이용해 새로운 퍼포먼스 중에 인간 퍼포머의 외모를 변화시켰습니다. 그러나 실시간 보강의 핵심 과제는 지연이었습니다.

특정 포즈에 맞춰 이미지를 생성했지만, 투사 시점에는 다른 얼굴 구성이 되어 있었으며, 연구진이 제안한 시스템은 캡처·처리·투사 전 단계에서 지연을 최소화하는 것을 목표로 했습니다.

적외선 조명을 사용해 광학·계산적으로 정렬된 고속 카메라가 얼굴 방향과 표정을 감지했습니다. 추정된 표정 블렌드 쉐이프는 저차원 공간에 매핑됐으며, 얼굴 움직임과 비강체 변형을 추정·평활·적응 칼만 필터링으로 예측했습니다. 마지막으로 원하는 외모는 시간·전역 위치·표정에 따라 사전 계산된 오프셋 텍스처를 보간해 생성되었습니다.

연구진은 최적화된 CPU·GPU 프로토타입을 통해 시스템을 평가했으며, 다양한 퍼포머와 다양한 얼굴 움직임·속도에서 성공적인 저지연 보강을 입증했습니다.

연구진은 기존 방법과 달리 물리적 트래킹 마커 없이도 얼굴 표정을 포함한 동적 얼굴 투사 매핑을 완전 지원하는 최초의 방법이라고 주장했습니다.

얼굴 투사 매핑과 지연·정렬 불일치 없이 안정된 출력을 달성하기 위한 연구는 새로운 것이 아닙니다. 연구자들은 변혁적인 가능성을 위해 이 길을 꾸준히 탐구해 왔으며, 최신 DFPM 기술은 확실히 돌파구가 되어 향상된 퍼포먼스 측면으로 엔터테인먼트를 재구상하는 데 기여할 것입니다.

최고의 증강 현실·가상 현실 주식 목록을 보려면 여기를 클릭하세요.

연구 참고문헌:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). 고속 얼굴 추적 방법 및 렌즈‑시프트 공동축 설정에 의한 지각 정렬 동적 얼굴 투사 매핑. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). 실제 피부 변형을 갖는 인간 팔에 대한 고속 동적 투사 매핑. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128