AR/VR
ダイナミック・フェイシャル・プロジェクション・マッピングでエンターテインメント産業を再構築する
Securities.io を Google の優先ソースに追加
拡張現実（AR）は、エンターテインメント産業においてすでにその革命的価値を証明しています。は利用されており ゲーム、映画、ライブイベント、テーマパーク、博物館や展示、劇場やパフォーマンス、テレビ、広告、ソーシャルメディア、eスポーツ、観光、ファッション、アート、音楽とダンス、さらにはコミックやグラフィックノベル、マジックショーにも使用されています。
ある市場予測によると エンターテインメント産業向けのARおよびVR市場は、2030年までにUS$30 billionに達する可能性があり、予測期間の2024-2030年では年平均成長率（CAGR）がほぼ19％になると見込まれています。
レポートは、エンターテインメントにおけるARの成長を促すいくつかの要因を特定しました。例えば、ARを導入することでコンテンツ制作者は、現実とフィクションの境界を曖昧にする没入型の物語を作り出し、観客がストーリーテリングに積極的に参加し、エンゲージメントと感情的つながりを高めました。ARとVRは、個々の好みに合わせたパーソナライズド体験の構築にも寄与しました。
データ分析とARを組み合わせることで、エンターテインメント企業はコンテンツ、レコメンデーション、さらには広告さえもカスタマイズできました。しかし、これらは氷山の一角に過ぎません。
ARは特定の技術革新によりさらに多くを実現できる可能性があります。次のセクションでは、DFPM（Dynamic Facial Projection Mapping）という技術に関する画期的なイノベーションについて議論します。
DFPM: それは何か？
これは、人間の顔に画像を投影し、リアルタイムで外観を変える新しい拡張現実技術です。言い換えれば、この手法は高度な顔追跡を用いて、動きや表情にシームレスに適応するように、リアルタイムで人物の顔に動的なビジュアルを投影します。
Source: Disney Research
この技術は膨大な可能性を持ち、芸術的想像力の面で大きな飛躍をもたらす可能性がありますが、技術的課題に直面しています。要するに、この問題は見なすことができる ずれの問題としてです。
新しい研究 Institute of Electrical and Electronics Engineers（IEEE）のジャーナルに掲載された1 はずれの問題を扱っています。しかし、解決策に深く踏み込む前に、問題が何であるかを見てみましょう。
バーチャルリアリティの未来への投資について学ぶにはここをクリックしてください。
DFPM導入におけるずれの問題
動く顔に映像を投影するには、DFPMシステムはユーザーの顔の特徴（目、鼻、口など）を1ミリ秒未満で検出する必要があります。カメラとプロジェクターの画像座標間のわずかな遅延や微小なずれでも、投影エラー、すなわち「ずれアーティファクト」を引き起こす可能性があります。これらは目立つエラーで、没入感の質を損なうことがあります。場合によっては没入感を台無しにするほどです。
日本・東京のInstitute of Scienceの研究チームは、DFPMの既存の課題に対する解決策を見つけるべく取り組みました。准教授の渡辺義浩が率い、大学院生の彭浩倫氏も参加しました。彼らの研究では、’ずれアーティファクト’を削減する概念が提案されました。
ずれアーティファクト’を削減するための2つの提案
東京の2人の研究者による論文は長いタイトルを持っていますが、扱っている問題はシンプルです。前述の通り、投影画像と対象顔とのずれアーティファクトを削減しようとしています、 これはDFPMにとって永続的な課題であると研究者は考えています。
研究者は目的を達成するために2つの提案を行いました。最初の概念は、時間情報を活用する高速顔追跡手法です。研究者はまず、切り抜き領域に限定した補間/外挿ベースの顔検出フレームワークを導入し、顔ランドマーク検出と並列実行できるようにしました。
研究者は次に、速いEnsemble of Regression Trees（ERT）ベースの検出と補助検出を組み合わせた新しいハイブリッド顔ランドマーク検出手法を提案しました。ERTベースの検出は、時間情報を利用し、補助検出のサポートにより検出エラーから回復しながら0.107ミリ秒で高速な結果を生成しました。
顔ランドマーク検出手法を訓練するために、研究者は公開されている高フレームレートの注釈データセットが不足している問題に対処するため、高フレームレート動画の注釈をシミュレートする革新的な手法を提案しました。
2つ目の概念は、レンズシフト同軸プロジェクター・カメラ設定で、1〜2メートルの深度でわずか1.274ピクセルの誤差で高い光学的整合性を維持でき、従来の方法で生じる大きなずれを防ぎながら、プロジェクターとカメラに同じ光学設計を適用してずれを削減するものです。
これらの概念の導入により、研究者は人間の視覚知覚とほぼ完全に一致する高速DFPMシステムを開発できる可能性があります。
成果の要約
研究の高度な技術的側面から離れ、応用観点で何が達成できるかを理解しようとすると、結果は以下の通りです：
提案されたセットアップは、1〜2メートルの深度で1.3ピクセル未満の誤差という極めて高い光学的整合性を実現できます。このセットアップは処理速度が速く、動的シナリオで高精度をもたらしました。
さらに、研究過程で研究者はモデルを訓練するための高速動画注釈シミュレーション手法を開発しました。
総合的に、これらの結果はライブパフォーマンス、ファッションショー、芸術的プレゼンテーションにおいて、より魅力的でハイパーリアリスティックな効果を構築するのに役立つはずです。
研究者は技術とエンターテインメント産業への応用にさらなる精度をもたらし続ける一方で、企業も提供価値の向上に必要と考える改善を行っています。
次のセクションでは、ARとエンターテインメントが交差する領域で大きな進展を遂げた2つの企業を取り上げます。
1. Walt Disney
2024年11月に公開された報告書によると 昨年、ディズニーは人工知能やミックスドリアリティなどの次世代技術の開発・導入を管理・調整する新しい戦略グループを設立したとされています。その名称はOffice of Technology Enablementです。
Walt Disney (DIS ) (WDP.DE ) StudiosのCTOを14年間務めたJamie Vorisが新設部門の責任者に選ばれました。Vorisは新しい役職でDisney Entertainmentの共同会長であるAlan Bergmanに報告することになっています。
新部門の立ち上げ前に回覧された内部メモで、回覧された Bergmanは次のように述べました：
「技術革新の最前線に留まり続ける能力は、今後ますます重要になるでしょう。これは、私たちの人材、創造性、ビジネスを可能にする形で新たな技術的変化を理解し受け入れることが、さらに重要になることを意味します。」
同じメモで、BergmanはOffice of Technology Enablementの任務は、ディズニーがAIとミックスドリアリティにおいて「先進的で革新的、かつ責任あるリーダー」であることを確保することだと述べました。
より重要なのは、Bergmanは、拡張現実における進歩の速度と範囲が 深遠であり、今後もディズニーの消費者体験、クリエイティブな取り組み、ビジネスに何年にもわたって影響を与え続けるだろうと認めました。
専門家や業界アナリストは、ディズニーがこれらの技術を活用することは多面的になると考えています。その探求は様々な事業部門に及ぶでしょう。
例えばテーマパーク部門では、同社はARとVRが来園者体験を向上させる方法を調査する専任チームを編成しており、業界全体のトレンドと合致しています。示唆的なリーダーシップの動きとして、Kyle Laughlinも最近ディズニーに復帰しました。
Walt Disney Imagineeringの新しい上級副社長兼研究開発責任者として、KyleはAR、VR、AIのバックグラウンドを持ち、テーマパークアトラクションのイノベーションを推進するのに適任と見られています。
顔認識技術の具体的な利用例として、2021年12月の報告では、ディズニー社がフロリダ州のディズニーワールド・テーマパーク（マジックキングダム）への来園者をチェックするために顔認識ソフトウェアの試験運用を行っていることが示唆されました。
ディズニーのコンテンツリポジトリ用に作成された自動タグ付けパイプラインは、顔検出と認識モジュールを備えており、ディズニーのコンテンツ（番組、映画など）のライブラリに適用されました。
DIS 価格チャート
2024年9月28日、The Walt Disney Company（NYSE: DIS）は第4四半期および通年の業績を報告しました。売上高は第4四半期で6%増の22.6億ドル（前年同期の21.2億ドル）となり、通年では3%増の91.4億ドル（前年の88.9億ドル）となりました。
2. Electronic Art Inc.
エンターテインメント分野で、拡張現実技術と顔認識の向上に驚異的な取り組みを行っているもう一つの企業はElectronic Arts (EA ) （EA）です。同社は2024年に東京で開催されたSIGGRAPH Asiaで、頭蓋骨彫刻による安定化理論を発表しました。
同社は、顔の動きを正確に安定させることが、3Dゲーム、バーチャルリアリティ、映画、機械学習のトレーニングデータ用のフォトリアルなアバターを作成する上で不可欠であると考えました。特に後者の場合、様々な形態を持つ人々のデータセットから迅速かつ自動的に顔の安定化が必要です。
EAのプレゼンターは、頭蓋骨の剛体運動と顔表情を区別することが重要であると考えました。頭蓋骨の動きと顔表情のずれは、制御が難しく自然な動きに見えないアニメーションモデルを生む可能性があります。
しかし、これらはすべて既存の安定化手法にいくつかの欠点があったため実現が困難でした。これらの手法は、顔動作コードシステム（FACS）から複数のユニットを組み合わせるような、非常に異なる表情のスパースなセットでうまく機能しませんでした。他の手法もありましたが、EAチームはそれらが十分に堅牢ではないと判断しました。
解決策として、EAチームは最新のニューラル符号距離場と微分可能な等値面メッシングの進歩を活用し、非構造化三角形メッシュや点群上で頭蓋骨の安定化剛体変換を直接計算しました。このアプローチは精度と堅牢性を大幅に向上させました。
チームはそこで止まらず、“stable hull”という概念を導入しました。これは、安定化されたスキャンのブール積の表面で、”visual hull”（シルエットから形状を復元する手法）や “photo hull”（空間彫刻）の類似です。安定化されたハルは、最小限の軟組織厚さで覆われた頭蓋骨に似ており、上部の歯が自動的に含まれます。
チームは、彼らの頭蓋骨彫刻アルゴリズムが安定化されたハル形状と剛体変換を同時に最適化し、さまざまな人々の複雑な表情を正確に安定化でき、既存手法を上回ると主張しました。
EAは長年にわたりARの活用に前向きでした。2017年、EAのCEOはARを「more interesting」と表現しました。EA SPORTS FC™ 25にCranium Technologyを導入しました。この技術はゲームキャラクターの頭部モデルの多くの側面を正確に制御できました。
ユーザーはこの技術を使って、キャラクターの頭部モデルを彫刻やテクスチャリングでデザインでき、単なる形状作成以上のことが可能です。表情を自然に動かすことで、没入感とリアリズムを高めました。
EA 価格チャート
最新の財務報告によると、EAの2025会計年度第3四半期の純予約額は US$2.215 billion です。
「EA SPORTS FC 25 Team of the Yearイベントの記録的成功は、当社のクリエイティブチームが規模で適応し、革新し、実行できる能力を示しています」とElectronic ArtsのCEO、Andrew Wilsonは述べました。
フェイシャル・プロジェクション・マッピング: 継続的な研究、着実な改善
本記事の冒頭で紹介した変革的なフェイシャル・プロジェクション・マッピング技術の研究は、一日で達成されたものではありません。この分野の長い研究伝統を引き継いでいます。
例えば、2021年に、東京工業大学工学部の研究者らは、リアルな皮膚変形を伴う人間の腕への高速動的プロジェクションマッピングというタイトルの論文を発表しました。2
冒頭で、研究者らは、対象表面の位置と形状に合わせて変化する動的プロジェクションマッピングが、拡張現実が対象表面の変化に似せるための基本であると認めました。
彼らは特に、人間の腕表面を動的プロジェクションマッピングで拡張することに取り組み、ファッション、ユーザーインターフェース、プロトタイピング、教育、医療支援などの分野での応用を強化できるとしました。しかし、いくつかの欠点も指摘しました。
従来の手法は皮膚変形を無視し、動作と投影の間に高い遅延があり、対象の腕表面と投影画像の間に目立つずれが生じていました。
解決策として、研究者は高速でリアルな皮膚変形を伴う人間の腕への動的プロジェクションマッピングシステムを提案しました。このシステムを使用すれば、ユーザーは腕表面と投影画像の間にずれを感じませんでした。
課題を達成するために、研究者は最先端のパラメトリック変形可能表面モデルと効率的な回帰ベースの精度補正を組み合わせ、皮膚変形を表現し、テクスチャ座標を変更して関節追跡に基づく高速かつ正確な画像生成を実現しました。
第二段階として、研究者は動作と投影の間の遅延を10ミリ秒未満に抑える高速システムを開発しました。これは人間の視覚ではほとんど知覚できないレベルです。
同様の研究は2017年に研究チームによって実施されました。チームはDisney Research、Princeton University、Chalmers University、Osaka Universityの協力者を含み、研究は‘Makeup Lamps: Live Augmentation of Human Faces via Projection’3
論文では、研究者は人間の顔をライブで動的に拡張する最初のシステムを提案しました。プロジェクターを用いた照明で、パフォーマーの外観を新しい演出中に変化させました。しかし、ライブ拡張の主要な課題は遅延でした。
画像は特定のポーズに基づいて生成されましたが、投影されるまでに別の顔構成になっていました。研究者が提案したシステムは、キャプチャから処理、投影までのすべてのステップで遅延を削減することを目指しました。
赤外線照明を使用し、光学的かつ計算的に整合した高速カメラが顔の向きと表情を検出しました。推定された表情ブレンドシェイプは低次元空間にマッピングされ、顔の動きと非剛体変形が推定、平滑化、適応カルマンフィルタで予測されました。最後に、所望の外観は時間、全体位置、表情に応じて事前計算されたオフセットテクスチャを補間することで生成されました。
研究者はCPUとGPUの最適化プロトタイプでシステムを評価し、さまざまなパフォーマーと異なる表情や動き速度のパフォーマンスで低遅延の拡張に成功したことを示しました。
研究者は、既存の手法とは対照的に、提示したシステムが物理的なトラッキングマーカーを必要とせず、顔表情を組み込んだ動的フェイシャル・プロジェクション・マッピングを完全にサポートする初の手法であると主張しました。
フェイシャル・プロジェクション・マッピングと、遅延やずれのない安定した出力を実現する研究は新しいものではありません。研究者はその変革的な可能性のためにこの道を熱心に追求してきました。最新のDFPM技術は確かに画期的で、エンターテインメントのパフォーマンス面を向上させることで再構築に貢献するでしょう。
研究参照:
1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). 高速顔追跡法とレンズシフト同軸設定による知覚的に整合した動的フェイシャル・プロジェクション・マッピング. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203
2. Peng, H.-L., & Watanabe, Y. (2021). リアルな皮膚変形を伴う人間の腕への高速動的プロジェクションマッピング. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753
3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: 投影による人間の顔のライブ拡張. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128
