Réinventer l’industrie du divertissement avec la cartographie dynamique de projection faciale

La réalité augmentée, ou RA, a déjà prouvé sa valeur révolutionnaire pour l’industrie du divertissement. Elle est utilisée dans les jeux vidéo, les films, les événements en direct, les parcs à thème, les musées et expositions, le théâtre et les spectacles, la télévision, la publicité, les réseaux sociaux, l’e-sport, le tourisme, la mode, l’art, la musique et la danse, et même les bandes dessinées et romans graphiques ou les spectacles de magie. 

Une estimation du marché suggère le marché de la RA & RV pour l’industrie du divertissement pourrait atteindre US$30 milliards d’ici 2030, avec un TCAC d’environ 19 % pendant la période de prévision 2024-2030.

Le rapport a identifié plusieurs facteurs moteurs qui ont conduit à la croissance de la RA dans le divertissement. Par exemple, le déploiement de la RA a aidé les créateurs de contenu à concevoir des récits immersifs qui brouillent les frontières entre la réalité et la fiction, incitant le public à devenir des participants actifs dans la narration et renforçant l’engagement et la connexion émotionnelle. La RA & RV ont également aidé à créer des expériences personnalisées adaptées aux préférences individuelles.

En combinant l’analyse de données avec la RA, les entreprises de divertissement peuvent personnaliser le contenu, les recommandations et même les publicités. Mais tout cela ne représente que la partie émergée de l’iceberg.

La RA pourrait accomplir bien plus avec des innovations technologiques spécifiques. Dans la section suivante, nous abordons une innovation révolutionnaire qui implique une technologie appelée DFPM, cartographie dynamique de projection faciale. 

DFPM: Qu’est-ce que c’est ?

Il s’agit d’une nouvelle technique de réalité augmentée où des images sont projetées sur les visages humains, modifiant leur apparence en temps réel. En d’autres termes, la méthode consiste à projeter des visuels dynamiques sur le visage d’une personne en temps réel, en utilisant un suivi facial avancé pour garantir que les projections s’adaptent parfaitement aux mouvements et aux expressions.

Source: Disney Research

Bien que la technologie offre un potentiel immense et puisse permettre de grands bonds en termes d’imagination artistique, la technique souffre de défis techniques. En bref, ce problème peut être considéré comme le problème de désalignement. 

Une nouvelle étude publiée dans le journal de l’Institute of Electrical and Electronics Engineers¹ traite du problème de désalignement. Mais, avant d’approfondir la solution, examinons quel est le problème.

Cliquez ici pour en savoir plus sur l’investissement dans le futur de la réalité virtuelle.

Le problème de désalignement lors du déploiement du DFPM

Projeter des visuels sur un visage en mouvement nécessite que le système DFPM détecte les caractéristiques faciales de l’utilisateur, telles que les yeux, le nez et la bouche, en moins d’une milliseconde. Même de légers retards de traitement ou de minuscules désalignements entre les coordonnées d’image de la caméra et du projecteur peuvent entraîner des erreurs de projection — ou « artefacts de désalignement ». Ce sont des erreurs perceptibles qui peuvent nuire à la qualité de l’immersion. Cela peut aller jusqu’à ruiner l’immersion.

Une équipe de chercheurs de l’Institute of Science Tokyo, Japon, s’est donnée pour mission de trouver des solutions aux défis existants du DFPM. Dirigée par le professeur associé Yoshihiro Watanabe, l’équipe comprenait également l’étudiant diplômé M. Hao-Lun Peng. Dans leur étude, ils ont proposé des concepts pour réduire les « artefacts de désalignement ». 

Deux propositions pour réduire les « artefacts de désalignement »

L’article des deux chercheurs basés à Tokyo a un titre long, ce qui est le cas pour ce type de publications. Mais le problème qu’il traite est simple à comprendre. Il — comme indiqué précédemment — vise à réduire les artefacts de désalignement entre les images projetées et les visages cibles, ce qui constitue un défi persistant pour le DFPM, estiment les chercheurs. 

Les chercheurs ont formulé deux propositions pour atteindre leur objectif. Le premier concept propose une méthode de suivi facial à haute vitesse qui exploiterait l’information temporelle. Dans leurs travaux, les chercheurs ont d’abord introduit un cadre de détection faciale basé sur l’inter/extrapolation limité à une zone recadrée, ce qui permettait une exécution parallèle avec la détection des points de repère faciaux. 

Les chercheurs ont ensuite proposé une nouvelle méthode hybride de détection des points de repère faciaux combinant des détections rapides basées sur l’Ensemble d’Arbres de Régression (ERT) et une détection auxiliaire. Les détections basées sur l’ERT produisaient des résultats rapides en 0,107 ms en utilisant l’information temporelle, avec le soutien de la détection auxiliaire pour récupérer des erreurs de détection. 

Pour entraîner la méthode de détection des points de repère faciaux, les chercheurs ont proposé une méthode innovante de simulation d’annotations vidéo à haute fréquence d’images afin de pallier le manque de jeux de données annotés à haute fréquence d’images disponibles publiquement.

Le deuxième concept impliquait une configuration projecteur‑caméra coaxiale à décalage de lentille qui pouvait maintenir un alignement optique élevé avec seulement une erreur de 1,274 pixel entre 1 m et 2 m de profondeur, réduisant le désalignement en appliquant les mêmes conceptions optiques au projecteur et à la caméra sans provoquer de gros désalignements comme dans les méthodes conventionnelles.

Le déploiement de ces concepts pourrait amener les chercheurs à développer un nouveau système DFPM à haute vitesse qui atteint un alignement quasi parfait avec la perception visuelle humaine.

Cliquez ici pour une liste d’entreprises redéfinissant la frontière AR/RV.

Les réalisations résumées

Si nous détournons notre attention des aspects hautement technologiques de la recherche pour essayer de comprendre ce qu’elle pourrait accomplir d’un point de vue applicatif, les résultats seraient les suivants :

La configuration proposée pourrait conduire à un alignement optique exceptionnellement élevé, avec moins de 1,3 pixel d’erreur à une profondeur de 1‑2 m. La configuration offrait un traitement plus rapide et une grande précision dans les scénarios dynamiques. 

De plus, au cours du processus, les chercheurs ont développé une méthode de simulation d’annotations vidéo à haute vitesse pour entraîner les modèles. 

Dans l’ensemble, les résultats devraient aider à créer des effets plus saisissants et hyper‑réalistes pour les performances en direct, les défilés de mode et les présentations artistiques. 

Alors que les chercheurs continueront d’apporter plus de précision à la technologie et à son application dans l’industrie du divertissement, les entreprises apportent également des améliorations qu’elles jugent appropriées et nécessaires pour améliorer leurs offres. 

Dans les sections suivantes, nous examinerons deux entreprises qui ont réalisé des avancées significatives dans le domaine où la RA et le divertissement convergent. 

1. Walt Disney (DIS )

Des rapports publiés en novembre l’année dernière ont suggéré que Disney avait créé un nouveau groupe stratégique pour gérer et coordonner la façon dont l’entreprise développait et déployait les technologies de prochaine génération — comme l’intelligence artificielle et la réalité mixte. Il était appelé le Office of Technology Enablement.

Jamie Voris, qui a occupé le poste de CTO des Walt Disney (WDP.DE ) Studios pendant 14 ans, a été choisi pour diriger la division nouvellement formée. Voris, dans ce nouveau rôle, devait rendre compte au coprésident de Disney Entertainment, Alan Bergman. 

Dans un mémo interne — qui a été diffusé avant le lancement de la nouvelle division — Bergman a déclaré :

“Notre capacité à rester à la pointe des avancées technologiques sera encore plus cruciale à mesure que nous avançons — ce qui rend d’autant plus important de comprendre et d’adopter les nouveaux changements technologiques de manière à habiliter nos équipes, notre créativité et notre activité.”

Dans le même mémo, Bergman a déclaré que le Office of Technology Enablement était chargé de veiller à ce que Disney soit « un leader progressif, innovant et responsable » en IA et réalité mixte. 

Plus important encore, Bergman a admis que le rythme et l’ampleur des avancées dans la réalité étendue, qui comprend la RA comme l’un de ses composants les plus importants, sont profondes et continueront d’influencer les expériences des consommateurs de Disney, les initiatives créatives et l’activité pendant des années.

Les experts et les analystes du secteur estiment que l’exploitation de ces technologies par Disney sera multiforme. L’exploration couvrira ses différentes divisions commerciales.

Dans le secteur des parcs à thème, par exemple, l’entreprise constitue une équipe dédiée pour étudier comment la RA et la RV peuvent améliorer l’expérience des visiteurs, en accord avec les tendances plus larges du secteur. Dans un geste de leadership suggestif, Kyle Laughlin est également récemment revenu chez Disney.

En tant que nouveau vice-président senior de la recherche et du développement pour Walt Disney Imagineering, les experts estiment que le parcours de Kyle en RA, RV et IA le place idéalement pour stimuler l’innovation dans les attractions des parcs à thème. 

En ce qui concerne les utilisations spécifiques de la technologie de reconnaissance faciale, des rapports de décembre 2021 ont suggéré que Disney Corporation testait l’utilisation d’un logiciel de reconnaissance faciale pour vérifier les visiteurs arrivant à son parc à thème Disney World en Floride – connu sous le nom de Magic Kingdom. 

Le pipeline de balisage automatisé créé pour le référentiel de contenu de Disney était équipé de modules de détection et de reconnaissance faciale qui ont été appliqués à la bibliothèque de contenu de Disney (émissions, films, etc.). 

Le 28 septembre 2024, The Walt Disney Company (NYSE: DIS) a publié ses résultats du quatrième trimestre et de l’année complète. Les revenus ont augmenté de 6 % au quatrième trimestre, atteignant 22,6 milliards de dollars contre 21,2 milliards de dollars au même trimestre de l’année précédente, et de 3 % sur l’année, atteignant 91,4 milliards de dollars contre 88,9 milliards de dollars l’année précédente.

2. Electronic Art Inc.  (EA )

Une autre entreprise du secteur du divertissement qui réalise un travail remarquable avec les technologies de réalité augmentée et améliore considérablement la reconnaissance faciale est Electronic Arts ou EA. L’entreprise a présenté à SIGGRAPH Asia 2024, tenu à Tokyo, Japon, la théorie de la stabilisation par sculpture du crâne.

L’entreprise estimait que stabiliser avec précision le mouvement facial était essentiel pour créer des avatars photo‑réalistes pour les jeux 3D, la réalité virtuelle, les films et les données d’entraînement d’apprentissage automatique. En particulier dans ce dernier cas, l’entreprise pensait que la stabilisation faciale devait fonctionner rapidement et automatiquement lorsque les données sources provenaient d’une population de personnes avec une morphologie variable. 

Les présentateurs d’EA estimaient qu’il était crucial de distinguer les mouvements rigides du crâne des expressions faciales, car un désalignement entre le mouvement du crâne et les expressions faciales pourrait entraîner un modèle d’animation difficile à contrôler et inadapté à un mouvement d’apparence naturelle.

Cependant, tout cela était difficile à réaliser car les méthodes de stabilisation existantes présentaient certains inconvénients. Ces méthodes peinaient à fonctionner avec des ensembles clairsemés d’expressions très différentes, comme lors de la combinaison de plusieurs unités d’un système de codage des actions faciales (FACS). Bien qu’il existait d’autres méthodes, l’équipe d’EA les a jugées insuffisamment robustes.

Comme solution, l’équipe d’EA a exploité les dernières avancées dans les champs de distance signés neuronaux et le maillage d’isosurfaces différentiables pour calculer les transformations rigides de stabilisation du crâne directement sur des maillages triangulaires non structurés ou des nuages de points. Leur approche a considérablement amélioré la précision et la robustesse.

L’équipe ne s’est pas arrêtée là. Elle a introduit le concept de « stable hull » comme la surface de l’intersection booléenne des scans stabilisés, analogue à la « visual hull » (en forme à partir de silhouettes) et à la « photo hull » (en carving spatial). Le stable hull ressemble à un crâne recouvert d’une épaisseur minimale de tissu mou, et les dents supérieures sont automatiquement incluses. 

L’équipe a affirmé que son algorithme de sculpture du crâne optimise simultanément la forme du stable hull et les transformations rigides afin d’obtenir une stabilisation précise des expressions complexes pour un ensemble diversifié de personnes, surpassant les méthodes existantes.

EA a longtemps soutenu l’exploitation judicieuse de la RA. En 2017, le PDG d’EA a qualifié la RA de « plus intéressante ». Il a introduit la technologie Cranium dans EA SPORTS FC™ 25. La technologie offrait un contrôle précis sur de nombreux aspects du modèle de tête du personnage de jeu.

Les utilisateurs pouvaient exploiter cette technologie pour sculpter et texturer afin de concevoir le modèle de tête d’un personnage avec l’esprit d’un créateur. Elle offrait aux utilisateurs bien plus que le simple modelage — elle permettait d’animer le visage de l’utilisateur pour qu’il bouge naturellement, augmentant l’immersion et le réalisme. 

Selon le dernier rapport financier disponible, les réservations nettes d’EA pour le troisième trimestre de l’exercice 25 s’élevaient à 2,215 milliards de dollars US.

“Le succès record de notre événement EA SPORTS FC 25 Team of the Year démontre la capacité de nos équipes créatives à s’adapter, innover et exécuter à grande échelle,” a déclaré Andrew Wilson, PDG d’Electronic Arts.

Cartographie de projection faciale: recherche continue, amélioration constante

La recherche sur la technologie transformatrice de cartographie de projection faciale avec laquelle nous avons commencé notre article n’a pas été réalisée en un jour. Elle s’inscrit dans une longue tradition de recherche dans ce domaine.

Par exemple, en 2021, les chercheurs de l’École d’ingénierie du Tokyo Institute of Technology ont publié un article intitulé ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

Dans leurs remarques d’ouverture, les chercheurs ont admis que la cartographie dynamique de projection pour un objet en mouvement en fonction de sa position et de sa forme était fondamentale pour que la réalité augmentée ressemble aux changements sur une surface cible.

Ils se sont spécifiquement penchés sur l’augmentation de la surface du bras humain via la cartographie dynamique de projection qui pourrait améliorer les applications dans la mode, les interfaces utilisateur, le prototypage, l’éducation, l’assistance médicale et d’autres domaines. Cependant, ils ont identifié certains inconvénients.

Ils ont constaté que les méthodes conventionnelles négligeaient la déformation de la peau et présentaient une latence élevée entre le mouvement et la projection, entraînant un désalignement perceptible entre la surface cible du bras et les images projetées.

Comme solution, les chercheurs ont proposé un système de cartographie dynamique de projection à haute vitesse sur un bras humain en mouvement rapide avec une déformation réaliste de la peau. Avec le système développé, l’utilisateur ne percevait aucun désalignement entre la surface du bras et les images projetées.

Pour accomplir leur tâche, les chercheurs ont d’abord combiné un modèle de surface déformable paramétrique de pointe avec une compensation d’exactitude basée sur la régression efficace afin de représenter la déformation de la peau et ont modifié les coordonnées de texture pour obtenir une génération d’images rapide et précise pour la cartographie de projection basée sur le suivi des articulations.

Dans un deuxième temps, les chercheurs ont développé un système à haute vitesse qui offrait une latence entre le mouvement et la projection inférieure à 10 ms, généralement imperceptible à la vision humaine. 

Des recherches similaires ont été menées par une équipe de chercheurs en 2017. L’équipe comptait des collaborateurs de Disney Research, Princeton University, Chalmers University et Osaka University. La recherche était intitulée « Makeup Lamps : Live Augmentation of Human Faces via Projection. »

Dans l’article, les chercheurs ont proposé le premier système d’augmentation dynamique en direct des visages humains. En utilisant une illumination basée sur projecteur, ils ont modifié l’apparence des interprètes humains lors de performances novatrices. Le principal défi de l’augmentation en direct était toutefois la latence.

Une image était générée selon une pose spécifique mais était affichée sur une configuration faciale différente au moment où elle était projetée. Le système proposé par les chercheurs visait à réduire la latence à chaque étape du processus, de la capture au traitement jusqu’à la projection. 

En utilisant une illumination infrarouge, une caméra haute vitesse alignée optiquement et computationnellement détectait l’orientation faciale ainsi que l’expression. Les formes de mélange d’expression estimées étaient projetées dans un espace de dimension inférieure, et le mouvement facial ainsi que la déformation non rigide étaient estimés, lissés et prédits grâce à un filtrage de Kalman adaptatif. Enfin, l’apparence souhaitée était générée en interpolant des textures de décalage précalculées selon le temps, la position globale et l’expression. 

Les chercheurs ont évalué leur système à l’aide d’un prototype CPU et GPU optimisé et ont démontré une augmentation à faible latence réussie pour différents interprètes et performances avec des variations de jeu facial et de vitesse de mouvement.

Les chercheurs ont affirmé, contrairement aux méthodes existantes, que leur système présenté était la première méthode à prendre en charge pleinement la cartographie dynamique de projection faciale sans nécessiter de marqueurs de suivi physiques et à intégrer les expressions faciales.

La cartographie de projection faciale et la recherche visant à obtenir une sortie stabilisée sans latence ni désalignement ne sont pas nouvelles. Les chercheurs poursuivent rigoureusement cette voie pour ses capacités transformatrices. La dernière technique DFPM constitue certainement une percée et aidera à réinventer le divertissement avec des aspects de performance améliorés. 

Cliquez ici pour une liste des meilleures actions de réalité augmentée et de réalité virtuelle.

Référence de l’étude:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually-Aligned Dynamic Facial Projection Mapping by High-Speed Face-Tracking Method and Lens-Shift Co-Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128