Les Robots Intelligents Apprennent les Mouvements des Lèvres Humaines

Les ingénieurs de Columbia ont créé un robot capable d’imiter et d’apprendre les mouvements des lèvres humaines pendant la parole. La conception améliorée combine la robotique avancée et l’IA, permettant à l’appareil – nommé Emo – d’apprendre en observant les expressions humaines et de reproduire les émotions humaines lorsque cela est approprié. Voici ce que vous devez savoir.

Pourquoi les Robots Humanoïdes Déclenchent la Vallée de l’Inquiétante Étrangeté

Depuis les premiers jours de la robotique, il y a eu une quête pour créer des robots humanoïdes. Cette tâche est beaucoup plus facile à dire qu’à faire, car les ingénieurs en robotique ont continué à faire des progrès dans cette direction, mais n’ont jamais tout à fait atteint leur objectif de créer un appareil qui ressemble et se comporte comme un être humain.

Quiconque a été autour des robots humanoïdes les plus basiques peut attester du malaise que ces appareils provoquent en termes de leur capacité à se fondre dans la population humaine. Les plus petites inexactitudes, telles que des mouvements oculaires ou des expressions faciales non naturelles, peuvent créer ce sentiment chez les observateurs.

La Vallée de l’Inquiétante Étrangeté

Le roboticiste japonais Masahiro Mori a remarqué ce phénomène dans les années 1970. Dans son essai maintenant célèbre “Bukimi no Tani Gensho” (Vallée de l’Étrangeté), il va dans le détail sur le concept. L’article décrit comment les robots humanoïdes atteignent toujours un point de déconnexion brutale avec leurs observateurs en raison de défauts subtils.

En 1978, le terme est entré dans les cercles scientifiques occidentaux via le livre de Jasia Reichardt “Robots : Faits, Fictions et Prédictions“, qui a traduit le terme en son utilisation actuelle, “vallée de l’inquiétante étrangeté”. Ce travail s’appuie sur la discussion de Mori, décrivant comment les plus petites différences peuvent causer des réactions négatives dans la connexion de l’observateur.

Les Visages Humains sont la Partie la Plus Difficile de l’Équation

Au cours des dernières décennies, plusieurs jalons ont été posés pour créer des robots humanoïdes. De nouvelles technologies, comme les LLM, rendent possible pour ces appareils de communiquer en utilisant un langage naturel, aidant ainsi à combler le fossé. Cependant, l’un des plus grands domaines qui nécessite encore beaucoup d’attention est le visage humain.

Le visage humain est un mélange complexe de tissus, de nerfs et de muscles capable de démontrer des milliers d’expressions différentes, dont beaucoup aident à communiquer des sentiments aux autres. De cette façon, le visage est considéré comme l’appareil de communication ultime.

Les ingénieurs en robotique ont longtemps reconnu l’importance et la difficulté de créer des visages robotiques qui fonctionnent comme des humains. Grâce à des années de travail acharné, les robots ont réussi à obtenir des visages qui ressemblent à des humains, avec de la peau et des expressions. Pourtant, malgré des milliards de dollars de recherche, la connexion manque encore.

Balayez pour faire défiler →

L’Importance des Lèvres dans la Communication

Les roboticistes ont constamment buté contre un problème important lors de la création d’appareils humanoïdes – il est presque impossible de recréer le mouvement des lèvres. Vos lèvres font plus que diriger le son de votre voix et vous aider à prononcer des mots.

Vos lèvres affichent en fait une émotion à un niveau subtil, qui, au fil des millénaires d’évolution, est devenu essentiel à la communication humaine. Notamment, vos mouvements de lèvres sont l’un des traits les plus concentrés de votre visage pendant les conversations. Par conséquent, votre cerveau consacre plus de puissance de réflexion à ces gestes qu’à d’autres actions comme froncer les sourcils ou cligner des yeux.

Les Lèvres des Robots Ressemblent à des Lèvres Non Naturelles

Malgré le fait que les robots aient gagné la capacité de ressembler presque à des humains, ils manquent encore en termes d’expression faciale des lèvres. Des décennies de recherche ont prouvé que la technologie ne permet pas d’obtenir une synchronisation lèvres-audio réaliste nécessaire pour créer un comportement réaliste. Par conséquent, les robots semblent toujours avoir leurs conversations doublées plutôt que parlées. Cet effet de voix doublée rend ces appareils maladroits et sans vie.

De manière évidente, les visages humains s’appuient sur des dizaines de muscles pour créer des réponses émotionnelles, et les lèvres robotiques n’ont pas encore ce niveau de complexité. Cela nécessiterait un nouveau type de conception pour atteindre ce niveau de complexité. De plus, la majorité des mouvements de lèvres des robots sont des mouvements prédéfinis définis pour correspondre à certaines émissions vocales plutôt que des mouvements conçus pour créer le mot de manière naturelle. Puisque les robots ne produisent pas réellement le son avec leurs lèvres, les mouvements paraissent non naturels et inquiétants.

Étude de Columbia : Enseigner aux Robots des Mouvements de Lèvres Réalistes

Heureusement, une équipe d’ingénieurs de Columbia peut avoir trouvé un moyen de traverser la vallée de l’inquiétante étrangeté. L’étude “Apprendre des mouvements de lèvres réalistes pour les robots à visage humanoïde¹” présente un nouveau type de visage robotique qui se concentre principalement sur le mouvement des lèvres et la synchronisation.

Materiel Spécialisé

L’un des principaux obstacles que l’équipe a dû surmonter était la rigidité des visages robotiques d’aujourd’hui. Alors qu’il y a eu de nombreuses nouvelles conceptions qui fournissent des réactions à moteur dans le visage, aucune ne peut supporter la complexité nécessaire pour permettre des mouvements de lèvres réalistes.

Pour surmonter cette limitation, les ingénieurs ont utilisé des lèvres en silicone conçues pour fournir une expression maximale. Ensuite, ils ont intégré 26 moteurs faciaux, un transformateur d’action faciale et un auto-encodeur variationnel (VAE).

Vision-Action (VLA)

Au cœur de cette avancée technologique se trouve le modèle d’IA vision-action. En utilisant ce modèle, un visage robotique peut créer autonomement des lèvres réalistes qui ne dépendent pas de paramètres mécaniques prédéfinis pour le mouvement.

Pour créer le modèle, l’équipe a utilisé des méthodes d’apprentissage observationnel. Ce style de programmation permet à l’appareil de déterminer les dynamiques de lèvres exactes pendant la parole en temps réel. Ainsi, la première étape consistait à introduire l’algorithme dans un pipeline d’apprentissage auto-supervisé.

Cette étape a nécessité que les ingénieurs placent le visage du robot devant un miroir et lui donnent l’instruction de créer des milliers de visages. Cette action a permis à l’algorithme de capturer ses capacités d’expression faciale. À partir de là, le robot a regardé des heures de contenu YouTube.

La combinaison d’audio et de mouvement des lèvres a été soigneusement suivie et utilisée pour programmer l’algorithme de lèvres faciales du robot. Au fil de quelques jours, il a appris exactement à quoi devrait ressembler son visage à partir de l’expression humaine plutôt que d’utiliser des paramètres d’entrée. Les ingénieurs ont ensuite ajouté de l’audio et ont commencé à tester.

Comment l’IA de Synchronisation Labiale a été Testée sur Plusieurs Langues

L’équipe a testé sa théorie sur 10 langues et contextes linguistiques différents. Le test a utilisé des langues complètement nouvelles pour le modèle, garantissant qu’il devrait calculer la bonne expression faciale et le mouvement des lèvres par opposition à la mémorisation de mots formés.

Résultats des Tests de Robots Inquiétants

Les résultats des tests ont montré une synchronisation lèvres-audio visuellement cohérente dans l’ensemble. Notamment, le robot alimenté par algorithme a fourni un mouvement de lèvres réaliste qui correspondait avec précision à plusieurs extraits audio. De manière impressionnante, il a synchronisé avec succès ses mouvements de lèvres sur 10 langues et a même chanté une chanson de son album de début généré par IA, hello world_.

Notamment, l’équipe a constaté certaines limites de la technologie. Par exemple, le robot n’a pas pu reproduire de manière cohérente les mouvements de lèvres difficiles associés à des mots comme “pop”. Il a également eu du mal avec des mots qui nécessitent des lèvres pincées comme “siffler”. De manière évidente, les ingénieurs ont noté que ces petites imperfections s’amélioreront avec le temps à mesure que l’algorithme s’améliorera. Cette fonction d’apprentissage automatique est le meilleur aspect de l’algorithme. Il continuera à s’améliorer à mesure qu’il captera plus de données humaines au fil du temps, ouvrant la porte à des interactions homme-machine plus significatives à l’avenir.

Avantages Clés de la Robotique Humanoïde Réaliste

Il existe plusieurs avantages que cette technologie apporte sur le marché. Tout d’abord, elle permettra aux humains de former une connexion plus profonde avec les machines. La plupart des gens ne sont pas conscients de la quantité de communication qui se produit via les expressions faciales de manière subconsciente.

Cette étude ouvre la porte à la technologie de synchronisation labiale et à l’IA conversationnelle pour créer des expériences similaires à celles des humains qui pourraient aider à lutter contre l’épidémie de solitude et plus encore. En utilisant cette technologie, les robots humanoïdes seront en mesure de faire un pas de plus vers la traversée de la vallée de l’inquiétante étrangeté et de pousser la robotique vers un nouveau plateau.

Applications et Calendrier Réels

Il existe de nombreuses applications pour cette technologie qui s’étendent sur plusieurs industries. L’utilisation évidente de cette technologie est d’aider à faire progresser la technologie robotique humanoïde. La capacité de projeter des visages doux et chauds sur des robots froids pourrait aider à stimuler l’adoption. Voici quelques autres applications à considérer.

Soins aux Personnes Âgées

Alors que les personnes âgées ne sont pas considérées comme les personnes les plus à l’aise avec la technologie, elles ont commencé à adopter la robotique à un niveau entièrement nouveau. Le marché des robots d’assistance aux personnes âgées est en plein essor, avec des statistiques montrant qu’il a atteint 3,38 milliards de dollars en 2025. Les mêmes rapports prédisent qu’il dépassera 9,85 milliards de dollars d’ici 2033.

Les personnes âgées seraient plus disposées à interagir et à accepter les robots s’ils ne semblaient pas techniquement compliqués. Ainsi, un assistant robotique qui pourrait communiquer en utilisant la parole avec des mouvements faciaux réalistes pourrait être parfait. Les patients âgés pourraient trouver une connexion ainsi que l’assistance dont ils ont besoin.

Divertissement

L’industrie du divertissement pourrait être parmi les premières à adopter cette technologie. Les cinéastes s’appuient fortement sur la robotique dans l’industrie du divertissement d’aujourd’hui. Des animatroniques comme ceux utilisés dans des parcs à thème comme Disney aux robots de capture de mouvement utilisés dans des films importants, les appareils ont poussé l’industrie du divertissement vers l’avant.

Aujourd’hui, le secteur des robots de divertissement dépasse 4,72 milliards de dollars. Cette valeur devrait augmenter à 26,94 milliards de dollars d’ici 2034, alimentée par une demande plus forte de personnages CGI réalistes. Dans un avenir proche, cette technologie pourrait combler ce créneau, permettant aux acteurs de partager leurs visages avec des personnages de nouvelles manières et plus directes.

Éducation

Le secteur de l’éducation est un autre endroit où cette technologie pourrait prospérer. Ici, ces appareils pourraient être configurés comme des tuteurs personnalisés. Déjà, certains rapports ont montré que les étudiants ont réalisé une augmentation de 30 % de la compréhension des mathématiques en utilisant des leçons adaptées aux robots.

Calendrier d’Adoption

Vous pouvez vous attendre à voir cette technologie commencer à se faire sentir dans la vie quotidienne dans les 5 à 10 prochaines années. Les robots sont déjà présents dans de nombreuses usines et lieux de travail, et leur intégration ne devrait que croître. Les roboticistes comprennent que l’intégration de ce type de technologie peut aider à rendre leurs appareils plus faciles à relater.

Chercheurs Clés à Columbia

L’étude a été accueillie par le Creative Machines Lab de Columbia. L’article cite Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen et Hod Lipson comme contributeurs.

Que se Passe-t-il ensuite pour les Robots Humanoïdes

L’équipe se concentrera maintenant sur l’amélioration de l’algorithme. Cette étape impliquera plus d’interactions humaines et pourrait même évoluer vers plusieurs unités capables d’apprendre en temps réel et de partager ces données avec un modèle centralisé.

Investir dans l’Innovation Robotique

L’industrie de la robotique est un secteur en pleine croissance qui a connu une croissance importante au cours des 5 dernières années. L’introduction de nouvelles technologies comme les LLM et les imprimantes 3D a aidé à stimuler l’innovation à de nouveaux niveaux. Pour une vue d’ensemble complète des opportunités de marché plus larges, lisez notre guide sur l’investissement dans l’IA physique et les robots humanoïdes en 2026.

Voici une entreprise qui a été à la pointe de cette révolution.

Teradyne (36 milliards de dollars)

Teradyne, Inc. (TER ) est la société mère d’Universal Robots (UR), le leader du marché des “cobots” (robots collaboratifs). Même si Teradyne ne construit pas de visages humanoïdes, elle est actuellement le principal acteur de l’introduction de l’IA “regarder et apprendre” décrite dans l’étude de Columbia sur le plan d’usine.

De manière cruciale, Teradyne a formé un partenariat stratégique avec Nvidia (NVDA ) pour intégrer la plate-forme “Isaac Manipulator”. Cela permet aux robots de Teradyne d’utiliser des caméras d’IA pour “voir” leur environnement et ajuster dynamiquement leur trajectoire – tout comme le robot Emo apprend à ajuster ses lèvres – plutôt que de s’appuyer sur un code rigide et prédéfini.

Performance et Évaluation 2026 : Teradyne est largement considérée comme une action de robotique de première qualité. Ses actions ont bondi de près de 50 % en 2025 et ont continué à progresser au début de 2026, échangeant près de la fourchette de 230 dollars.

Dernières Nouvelles et Performance de Teradyne (TER)

Conclusion

L’introduction de visages robotiques réalistes est parfaitement logique. Les LLM sont maintenant capables de reproduire la parole humaine, et lorsqu’ils sont combinés avec des expressions faciales réalistes, ces appareils seront en mesure de fournir un nouveau niveau de formation, d’apprentissage, de soins de santé et plus encore. Pour l’instant, l’équipe se concentrera sur l’élimination des imperfections et la recherche de partenaires stratégiques et de financement.

Découvrez d’autres avancées cool en robotique ici.

Références

1. Yuhang Hu et al., Apprendre des mouvements de lèvres réalistes pour les robots à visage humanoïde. Science ^Robotics 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017