Des robots dotés d'intelligence artificielle apprennent les mouvements des lèvres humaines

Des ingénieurs de l'université Columbia ont créé un robot capable d'imiter et d'apprendre les mouvements des lèvres humaines pendant la parole. Ce modèle amélioré combine robotique de pointe et intelligence artificielle, permettant à l'appareil – baptisé Emo – d'apprendre en observant les expressions humaines et de reproduire les émotions humaines de manière appropriée. Voici ce qu'il faut savoir.

Pourquoi les robots humanoïdes déclenchent la vallée de l'étrange

Depuis les débuts de la robotique, la création de robots humanoïdes est un objectif constant. Cette tâche est bien plus facile à dire qu'à faire : si les ingénieurs en robotique ont sans cesse progressé dans cette direction, ils n'ont jamais pleinement atteint leur but : créer un appareil qui ressemble à un être humain et dont les sensations soient identiques à celles de ce dernier.

Quiconque a déjà côtoyé ne serait-ce que les robots humanoïdes les plus rudimentaires peut témoigner du malaise que suscitent ces engins, notamment quant à leur capacité à se fondre dans la masse. Les moindres imprécisions, comme des mouvements oculaires ou des expressions faciales peu naturels, peuvent provoquer ce sentiment chez les observateurs.

La vallée mystérieuse

Le roboticien japonais Masahiro Mori a remarqué ce phénomène dans les années 1970. Dans son ouvrage désormais célèbre «Bukimi no Tani GenshoDans son essai intitulé « La Vallée de l'Étrangeté », il développe ce concept en détail. L'article décrit comment les robots humanoïdes finissent toujours par se déconnecter brutalement de leurs observateurs en raison de défauts subtils.

En 1978, le terme a fait son apparition dans les cercles scientifiques occidentaux grâce au livre de Jasia Reichardt «Robots : faits, fiction et prédictions« qui a traduit le terme en son usage désormais populaire, « vallée de l'étrange ». Ce travail s'appuie sur la discussion de Mori, décrivant comment les plus petites différences peuvent provoquer des réactions négatives dans la connexion de l'observateur.

Les visages humains sont la partie la plus difficile de l'équation.

Ces dernières décennies, plusieurs étapes importantes ont été franchies dans la création de robots humanoïdes. De nouvelles technologies, comme les LLM (Language-Mechanical Languages), permettent à ces appareils de communiquer en langage naturel, contribuant ainsi à réduire l'écart entre les deux mondes. Cependant, la modélisation du visage humain reste un domaine crucial qui requiert encore beaucoup d'attention.

Le visage humain est un ensemble complexe de tissus, de nerfs et de muscles capable d'afficher des milliers d'expressions différentes, dont beaucoup permettent de communiquer des sentiments. De ce fait, le visage est considéré comme l'outil de communication par excellence.

Les ingénieurs en robotique reconnaissent depuis longtemps l'importance et la difficulté de créer des visages robotiques capables de se comporter comme des humains. Après des années de travail acharné, les robots sont parvenus à obtenir des visages d'apparence humaine, avec une peau et des expressions. Pourtant, malgré des milliards investis dans la recherche, la connexion avec l'humain reste encore à établir.

Glissez pour faire défiler →

L'importance des lèvres dans la communication

Les roboticiens se heurtent constamment à un problème majeur lors de la création de dispositifs humanoïdes : il est quasiment impossible de reproduire les mouvements des lèvres. Celles-ci ne servent pas uniquement à diriger le son de votre voix et à prononcer les mots.

Vos lèvres expriment des émotions de manière subtile, ce qui, au fil de millénaires d'évolution, est devenu essentiel à la communication humaine. Notamment, les mouvements de vos lèvres sont parmi les traits de votre visage les plus scrutés lors des conversations. Par conséquent, votre cerveau consacre davantage d'énergie cognitive à ces gestes qu'à d'autres actions comme froncer les sourcils ou cligner des yeux.

Les lèvres des robots ont un aspect artificiel.

Bien que les robots soient désormais capables d'une apparence quasi humaine, leurs expressions faciales labiales restent encore limitées. Des décennies de recherche ont démontré que la technologie permettant une synchronisation labiale et audio optimale, indispensable à un comportement réaliste, n'existe pas encore. De ce fait, les conversations des robots semblent toujours être doublées plutôt que prononcées. Cet effet de doublage leur donne un aspect maladroit et inanimé.

Il est important de noter que les visages humains font appel à des dizaines de muscles pour exprimer des émotions, et les lèvres robotiques n'ont pas encore atteint ce niveau de complexité. Une conception entièrement nouvelle serait nécessaire pour y parvenir. De plus, la plupart des mouvements des lèvres robotiques sont prédéfinis et synchronisés avec des enregistrements vocaux spécifiques, plutôt que conçus pour produire les mots de manière naturelle. Puisque les robots ne produisent pas réellement le son avec leurs lèvres, ces mouvements paraissent artificiels et inquiétants.

Étude de Columbia : Apprendre aux robots des mouvements labiaux réalistes

Heureusement, une équipe d'ingénieurs de Columbia a peut-être trouvé comment franchir la vallée de l'étrange.Apprentissage de mouvements labiaux réalistes pour les robots humanoïdes à visage¹Cette étude présente un nouveau type de visage robotique axé principalement sur les mouvements et la synchronisation des lèvres.

Quincaillerie spécialisée

L'un des principaux obstacles que l'équipe a dû surmonter était la rigidité des visages robotiques actuels. Bien que de nombreux nouveaux modèles proposent des réactions motorisées du visage, aucun ne permet d'atteindre la complexité nécessaire à des mouvements des lèvres réalistes.

Pour pallier cette limitation, les ingénieurs ont utilisé des lèvres en silicone spécialement conçues pour offrir une expressivité maximale. Ils y ont ensuite intégré 26 moteurs faciaux, un transformateur d'expression faciale et un auto-encodeur variationnel (VAE).

Vision à l'action (VLA)

Au cœur de cette avancée technologique se trouve le modèle d'IA vision-action. Grâce à ce modèle, un visage robotique peut créer de manière autonome des lèvres réalistes dont le mouvement ne dépend pas de paramètres mécaniques prédéfinis.

Pour créer le modèle, l'équipe a utilisé des méthodes d'apprentissage par observation. Ce type de programmation permet au dispositif de déterminer avec précision la dynamique des lèvres pendant la parole, et ce en temps réel. La première étape a donc consisté à intégrer l'algorithme dans un processus d'apprentissage auto-supervisé.

Cette étape a nécessité que les ingénieurs placent le visage du robot devant un miroir et lui demandent de reproduire des milliers d'expressions faciales. Cette action a permis à l'algorithme de s'approprier ses capacités d'expression. Le robot a ensuite visionné des heures de contenu YouTube.

La combinaison du son et des mouvements des lèvres a été soigneusement enregistrée et utilisée pour programmer l'algorithme d'IA de reconnaissance faciale du robot. En quelques jours, celui-ci a appris précisément l'expression du visage à partir des expressions humaines, sans utiliser de paramètres d'entrée. Les ingénieurs ont ensuite ajouté le son et ont commencé les tests.

Comment l'IA de synchronisation labiale a été testée dans différentes langues

L'équipe a testé sa théorie sur dix langues et contextes linguistiques différents. Le test a utilisé des langues totalement nouvelles pour le modèle, l'obligeant ainsi à calculer les expressions faciales et les mouvements des lèvres appropriés plutôt que de se souvenir de mots appris précédemment. Fait intéressant, le test a également pris en compte le contexte et des chansons.

Résultats des tests d'Uncanny Robots

Les résultats des tests ont démontré une synchronisation labiale visuellement cohérente dans tous les cas. Notamment, le robot, piloté par un algorithme, a produit des mouvements de lèvres réalistes qui correspondaient précisément à plusieurs extraits audio. De manière impressionnante, il a réussi à synchroniser ses mouvements de lèvres dans 10 langues et a même chanté une chanson de son premier album généré par IA. Bonjour le monde_.

L'équipe a toutefois constaté certaines limites à cette technologie. Par exemple, le robot peinait à reproduire fidèlement les mouvements des lèvres associés à des mots comme « pop ». Il rencontrait également des difficultés avec les mots à la bouche pincée comme « whistle ». Les ingénieurs ont cependant souligné que ces petites imperfections se corrigeraient d'elles-mêmes à mesure que l'algorithme s'améliorerait. Cette capacité d'auto-apprentissage est le principal atout de l'algorithme. Il s'améliorera continuellement en collectant davantage de données auprès des humains, ouvrant ainsi la voie à des interactions homme-machine plus pertinentes à l'avenir.

Principaux avantages de la robotique humanoïde réaliste

Cette technologie présente plusieurs avantages sur le marché. Elle permettra notamment aux humains de tisser un lien plus profond avec les machines. La plupart des gens ignorent à quel point la communication passe inconsciemment par les expressions faciales.

Cette étude ouvre la voie à la synchronisation labiale et à l'intelligence artificielle conversationnelle pour créer des expériences quasi humaines susceptibles de contribuer à lutter contre l'isolement social et bien plus encore. Grâce à cette technologie, les robots humanoïdes pourront franchir le cap de la vallée de l'étrange et propulser la robotique vers de nouveaux sommets.

Applications concrètes et chronologie

Cette technologie offre de nombreuses applications dans divers secteurs. Son utilisation la plus évidente est de contribuer au développement de la robotique humanoïde. La possibilité de projeter des visages doux et chaleureux sur des robots à l'apparence froide pourrait favoriser son adoption. Voici quelques autres applications à envisager.

Soins aux personnes âgées

Bien que n'étant pas considérées comme les personnes les plus versées en technologie, les personnes âgées ont commencé à adopter la robotique à un tout autre niveau. Le marché des robots d'assistance aux personnes âgées est en pleine expansion. statistiques Ces rapports indiquent qu'il a atteint 3.38 milliards de dollars en 2025. Ils prévoient qu'il dépassera les 9.85 milliards de dollars d'ici 2033.

Les personnes âgées seraient plus enclines à interagir avec les robots et à les accepter s'ils ne paraissaient pas technologiquement complexes. Ainsi, un assistant robotique capable de communiquer par la parole et d'afficher des expressions faciales réalistes pourrait parfaitement convenir. Les patients âgés pourraient ainsi nouer un lien affectif tout en bénéficiant d'une aide précieuse.

Divertissement

L'industrie du divertissement pourrait être parmi les premières à adopter cette technologie. Les cinéastes s'appuient fortement sur la robotique dans l'industrie du divertissement actuelle. Des animatroniques comme celles utilisées dans les parcs d'attractions tels que Disney aux robots de capture de mouvement utilisés dans les grands films, ces dispositifs ont fait progresser considérablement l'industrie du divertissement.

Le secteur des robots de divertissement pèse aujourd'hui plus de 4.72 milliards de dollars. Ce chiffre devrait atteindre 26.94 milliards de dollars d'ici 2034, porté par une demande croissante de personnages en images de synthèse réalistes. Dans un avenir proche, cette technologie pourrait combler ce manque, permettant aux acteurs de partager leurs visages avec leurs personnages de manière inédite et plus directe.

Éducation

Le secteur éducatif est un autre domaine où cette technologie pourrait prospérer. Ces appareils pourraient y être configurés comme des tuteurs personnalisés. Certains le sont déjà. (lire ici) Des études ont montré que les élèves ont amélioré leur compréhension des mathématiques de 30 % grâce à des leçons adaptées aux robots.

Chronologie de l'adoption

On peut s'attendre à ce que cette technologie commence à s'intégrer progressivement dans notre quotidien d'ici 5 à 10 ans. Les robots sont déjà présents dans de nombreuses usines et entreprises, et leur intégration devrait encore s'accroître. Les roboticiens savent que l'intégration de ce type de technologie peut contribuer à rendre leurs appareils plus accessibles et compréhensibles par tous.

Chercheurs clés à Columbia

L'étude a été organisée par le Creative Machines Lab de Columbia. Le journal cite Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, ​​Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen et Hod Lipson comme contributeurs.

Quel avenir pour les robots humanoïdes ?

L'équipe va désormais se concentrer sur le perfectionnement de l'algorithme. Cette étape nécessitera davantage d'interventions humaines et pourrait même aboutir à la mise en place de plusieurs unités capables d'apprendre en temps réel et de partager ces données avec un modèle centralisé.

Investir dans l'innovation en robotique

L'industrie de la robotique est un secteur dynamique qui a connu une forte croissance ces cinq dernières années. L'introduction de nouvelles technologies comme les LLM et les imprimantes 3D a contribué à propulser l'innovation vers de nouveaux sommets. Pour une analyse complète des opportunités de marché, consultez notre guide sur investir dans l'IA physique et les robots humanoïdes en 2026.

Voici une entreprise qui a été à l'avant-garde de cette révolution.

Teradyne (36 milliard de dollars)

Teradyne, Inc. (TER -1.19%) Teradyne est la société mère d'Universal Robots (UR), leader du marché des cobots (robots collaboratifs). Bien qu'elle ne conçoive pas de visages humanoïdes, elle est actuellement le principal acteur de l'intégration de l'intelligence artificielle « d'apprentissage par observation » décrite dans l'étude de Columbia dans les chaînes de production.

Surtout, Teradyne a noué un partenariat stratégique avec Nvidia. (NVDA + 0.83%) L’intégration de la plateforme « Isaac Manipulator » permet aux robots de Teradyne d’utiliser des caméras dotées d’intelligence artificielle pour « voir » leur environnement et ajuster dynamiquement leur trajectoire – à l’instar du robot Emo qui apprend à moduler ses lèvres – au lieu de s’appuyer sur un code rigide et pré-écrit.

Performance et valorisation en 2026 : Teradyne est largement considérée comme une valeur sûre du secteur de la robotique. Son action a bondi de près de 50 % en 2025 et a poursuivi sa progression début 2026, se négociant aux alentours de 230 dollars.

Dernières actualités et performances de Teradyne (TER)

Conclusion

L'intégration de visages robotiques réalistes est tout à fait logique. Les LLM sont désormais capables de reproduire la parole humaine et, combinés à des expressions faciales réalistes, ces dispositifs vont révolutionner la formation, l'apprentissage, les soins de santé et bien d'autres domaines. Pour l'instant, l'équipe se concentre sur la correction des imperfections et la recherche de partenaires stratégiques et de financements.

Découvrez d'autres avancées intéressantes en matière de robotique ici.

Références

1. Yuhang Hu et al.Apprentissage de mouvements labiaux réalistes pour les robots à visage humanoïde. Science ^Robotique 11, eadx3017 (2026). DOI :10.1126/scirobotics.adx3017