AI-drevne robotter lærer menneskelige læbebevægelser

Columbia-ingeniører har skabt en robot, der kan efterligne og lære menneskelige læbebevægelser under tale. Det opgraderede design kombinerer avanceret robotteknik med AI, så enheden—navngivet Emo—kan lære ved at observere menneskelige udtryk og efterligne menneskelige følelser, når det er passende. Her er, hvad du behøver at vide.

Hvorfor humanoide robotter udløser den ubehagelige dal

Siden robotikkens tidligste dage har der været en søgen efter at skabe humanoide robotter. Denne opgave er meget lettere sagt end gjort, da robotingeniører løbende har gjort fremskridt i den retning, men aldrig fuldt ud har opnået deres mål om at skabe en enhed, der ser ud og føles som et rigtigt menneske.

Alle, der har været i nærheden af selv de mest grundlæggende humanoide robotter, kan bevidne den ubehag, som enhederne fremkalder i forhold til deres evne til at blande sig som mennesker. De mindste unøjagtigheder, såsom unaturlige øjenbevægelser eller ansigtsudtryk, kan skabe denne følelse hos observatører.

Den ubehagelige dal

Den japanske robotiker Masahiro Mori bemærkede dette fænomen i 1970’erne. I hans nu berømte essay “Bukimi no Tani Gensho” (Uhyggelighedens dal) går han i detaljer om konceptet. Artiklen beskriver, hvordan humanoide robotter altid når et punkt med skarp afbrydelse fra deres observatører på grund af subtile fejl.

I 1978 kom udtrykket ind i vestlige videnskabelige kredse via Jasia Reichardts bog “Robots: Fact, Fiction, and Prediction,“, som oversatte udtrykket til den nu populære brug, “den ubehagelige dal”. Dette arbejde bygger videre på Moris diskussion og beskriver, hvordan de mindste forskelle kan forårsage negative reaktioner i observatørens forbindelse.

Menneskelige ansigter er den sværeste del af ligningen

I løbet af de sidste par årtier er der nået flere milepæle i retning af at skabe humanoide robotter. Ny teknologi, som LLM’er, gør det muligt for disse enheder at kommunikere ved hjælp af naturligt sprog, hvilket hjælper med at bygge bro over kløften. En af de største områder, der stadig kræver meget opmærksomhed, er det menneskelige ansigt.

Det menneskelige ansigt er en kompleks blanding af væv, nerver og muskler, der er i stand til at demonstrere tusindvis af forskellige udtryk, hvoraf mange hjælper med at kommunikere følelser til andre. På denne måde betragtes ansigtet som den ultimative kommunikationsenhed.

Robotingeniører har længe anerkendt vigtigheden og sværhedsgraden ved at skabe robotansigter, der fungerer som menneskers. Gennem mange års hårdt arbejde har robotter formået at opnå menneskelignende ansigter med hud og udtryk. Alligevel mangler forbindelsen stadig, på trods af milliarder i forskning.

Swipe for at rulle →

Vigtigheden af læber i kommunikation

Robotikere har løbende stødt på et væsentligt problem, når de skaber humanoide enheder—det er næsten umuligt at genskabe læbebevægelse. Dine læber gør mere end at dirigere lyden af din stemme og hjælpe dig med at udtale ord.

Dine læber viser faktisk følelser på et subtilt niveau, hvilket gennem årtusinder af evolution er blevet afgørende for menneskelig kommunikation. Bemærkelsesværdigt er dine læbebevægelser en af de mest fokuserede træk ved dit ansigt under samtaler. Som følge heraf dedikerer din hjerne mere tanke‑kraft til disse gestusser end til andre handlinger som at knibe panden sammen eller at blinke.

Robotters læber ser unaturlige ud

Selvom robotter har opnået evnen til at se næsten menneskelige ud, mangler de stadig i forhold til læbe‑ansigtsudtryk. Årtiers forskning har vist, at teknologien ikke eksisterer for at opnå den korrekte læbe‑lyd‑synkronisering, der kræves for at skabe realistisk adfærd. Som følge heraf ser robotterne altid ud til at have deres samtaler dubbet i stedet for at blive talt. Denne dubbe stemmeeffekt får enhederne til at se klodsede og livløse ud.

Menneskelige ansigter er afhængige af dusinvis af muskler for at skabe følelsesmæssige reaktioner, og robotlæber har endnu ikke dette kompleksitetsniveau. Det ville kræve en ny type design for at opnå dette niveau af kompleksitet. Desuden er størstedelen af robotlæbers bevægelser foruddefinerede bevægelser, der er indstillet til at matche bestemte vokale udsendelser i stedet for bevægelser designet til at danne ord naturligt. Da robotterne faktisk ikke producerer lyden med deres læber, fremstår bevægelserne som unaturlige og ubehagelige.

Columbia-undersøgelse: Undervisning af robotter i realistisk læbebevægelse

Heldigvis kan et team af Columbia-ingeniører have fundet ud af, hvordan man krydser den ubehagelige dal. Undersøgelsen “Learning realistic lip motions for humanoid face robots¹” introducerer en ny type robotansigt, der primært fokuserer på læbebevægelse og synkronisering.

Specialiseret hardware

En af de største forhindringer, teamet måtte overvinde, var stivheden i nutidens robotansigter. Selvom der er mange nye designs, der giver motor‑drevne reaktioner i ansigtet, kan ingen understøtte den kompleksitet, der er nødvendig for at muliggøre realistiske læbebevægelser.

For at overvinde denne begrænsning brugte ingeniørerne specialfremstillede silikone‑læber designet til at give maksimal udtryk. Derefter indlejrede de 26 ansigtsmotorer, en ansigts‑aktions‑transformer og en variational autoencoder (VAE).

Vision‑to‑Action (VLA)

Kernen i dette teknologiske gennembrud er vision‑to‑action AI‑modellen. Ved at bruge denne model kan et robotansigt autonomt skabe realistiske læber, der ikke er afhængige af foruddefinerede mekaniske indstillinger for bevægelse.

For at skabe modellen anvendte teamet observationslæringsmetoder. Denne programmeringsstil gør det muligt for enheden at fastslå præcise læbedynamikker under tale i realtid. Derfor var det første skridt at indføre algoritmen i en selv‑overvåget læringspipeline.

Dette skridt krævede, at ingeniørerne placerede robotens ansigt foran et spejl og instruerede den i at skabe tusindvis af ansigter. Denne handling tillod algoritmen at indfange dens ansigtsudtrykskapacitet. Derfra så robotten timer af YouTube‑indhold.

Kombinationen af lyd og læbebevægelse blev omhyggeligt sporet og brugt til at programmere robotens ansigts‑læbe‑AI‑algoritme. Over et par dage lærte den præcis, hvordan dens ansigt skulle se ud ud fra menneskelige udtryk i stedet for at bruge input‑parametre. Ingeniørerne tilføjede derefter lyd og begyndte at teste.

Hvordan lip‑sync‑AI’en blev testet på tværs af sprog

Teamet testede deres teori på tværs af 10 forskellige sprog og sproglige kontekster. Testen brugte helt nye sprog for modellen, hvilket sikrede, at den skulle beregne den korrekte ansigtsudtryk og læbebevægelser i stedet for at genkalde tidligere trænede ord. Interessant nok brugte testen også kontekst og sange.

Resultater fra ubehagelige robotter

Testresultaterne viste visuelt sammenhængende læbe‑lyd‑synkronisering på tværs af hele spektret. Bemærkelsesværdigt leverede den algoritme‑drevne robot realistisk læbebevægelse, der nøjagtigt matchede flere lydklip. Imponerende nok synkroniserede den sine læbebevægelser på tværs af 10 sprog og sang endda en sang fra sit AI‑genererede debutalbum, hello world_.

Bemærkelsesværdigt fandt teamet nogle begrænsninger ved teknologien. For det første kunne robotten ikke konsekvent reproducere hårde læbebevægelser forbundet med ord som “pop”. Den havde også problemer med sammentrukne ord som “whistle”. Ingeniørerne bemærkede, at disse små ufuldkommenheder vil løse sig selv, efterhånden som algoritmen forbedres over tid. Denne selv‑lærende funktion er den bedste side af algoritmen. Den vil løbende forbedre sig, efterhånden som den indsamler mere data fra mennesker over tid, hvilket åbner døren for mere meningsfulde menneske‑maskine‑interaktioner i fremtiden.

Vigtige fordele ved realistisk humanoid robotteknologi

Der er flere fordele, som denne teknologi bringer til markedet. For det første vil den gøre det muligt for mennesker at danne en dybere forbindelse med maskiner. De fleste er uvidende om, hvor meget kommunikation der foregår via ansigtsudtryk ubevidst.

Denne undersøgelse åbner døren for lip‑sync‑teknologi og konverserende AI til at skabe menneskelignende oplevelser, som kan hjælpe med at bekæmpe ensomhedsepidemien og mere. Ved at bruge denne teknologi vil humanoide robotter kunne komme et skridt tættere på at krydse den ubehagelige dal og drive robotteknologi til en ny plateau.

Virkelige anvendelser & tidslinje

Der er mange anvendelser for denne teknologi, der spænder over flere industrier. Den åbenlyse anvendelse af denne teknologi er at hjælpe med at drive humanoid robotteknologi fremad. Evnen til at projicere bløde, varme ansigter på kolde robotter kan hjælpe med at fremme adoptionen. Her er nogle andre anvendelser at overveje.

Ældrepleje

Selvom de ældre ikke betragtes som de mest teknologikyndige, har de begyndt at omfavne robotteknologi på et helt nyt niveau. Markedet for assistentrobotter til ældrepleje er i vækst, med statistikker der viser, at det nåede $3,38 mia. i 2025. De samme rapporter forudsiger, at det vil overstige $9,85 mia. i 2033.

De ældre ville være mere villige til at interagere med og acceptere robotter, hvis de ikke virkede teknologisk komplicerede. Derfor kunne en robotassistent, der kan kommunikere ved hjælp af tale sammen med realistiske ansigtsbevægelser, være den perfekte løsning. Ældre patienter kunne finde en forbindelse sammen med den meget nødvendige assistance.

Underholdning

Underholdningsindustrien kan være blandt de første til at adoptere denne teknologi. Filmmagere er stærkt afhængige af robotteknologi i dagens underholdningsindustri. Fra animatronik som dem, der bruges i forlystelsesparker som Disney, til motion‑capture‑robotter brugt i store film, har enhederne skubbet underholdningsindustrien fremad.

Dagens underholdningsrobot‑sektor overstiger $4,72 mia. Denne værdi forventes at vokse til $26,94 mia. i 2034, drevet af øget efterspørgsel efter realistiske CGI‑karakterer. I den nærmeste fremtid kan denne teknologi udfylde dette niche, så skuespillere kan dele deres ansigter med karakterer på nye og mere direkte måder.

Uddannelse

Uddannelsessektoren er et andet område, hvor denne teknologi kan blomstre. Her kan disse enheder opstilles som personlige tutorer. Allerede har nogle rapporter vist, at elever opnåede en 30 % stigning i matematikforståelse ved brug af robot‑tilpassede lektioner.

Adoptions‑tidslinje

Du kan forvente at se denne teknologi begynde at filtrere ind i hverdagen inden for de næste 5‑10 år. Robotter er allerede i mange fabrikker og arbejdspladser, og integrationen forventes kun at stige. Robotikere forstår, at integration af denne type teknologi kan hjælpe med at gøre deres enheder mere relaterbare.

Vigtige forskere ved Columbia

Undersøgelsen blev afholdt af Columbias Creative Machines Lab. Papiret opremser Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen og Hod Lipson som bidragydere.

Hvad kommer næste for menneskelignende robotter

Teamet vil nu fokusere på at perfektionere algoritmen yderligere. Dette skridt vil involvere flere menneskelige interaktioner og kan endda udvikle sig til flere enheder, der er i stand til at lære i realtid og dele disse data med en centraliseret model.

Investering i robotinnovation

Robotindustrien er en hurtigt bevægende sektor, der har oplevet kraftig vækst i de sidste 5 år. Introduktionen af nye teknologier som LLM’er og 3D‑printere har hjulpet med at drive innovation til nye niveauer. For et omfattende overblik over de bredere markedsmuligheder, læs vores guide om investering i fysisk AI og humanoide robotter i 2026. Her er en virksomhed, der har været i frontlinjen af denne revolution.

Teradyne ($36B)

Teradyne, Inc. (TER ) er moderselskabet til Universal Robots (UR), markedslederen inden for “cobots” (samarbejdsrobotter). Selvom Teradyne ikke bygger humanoide ansigter, er de i øjeblikket den førende aktør i at bringe den “watch‑and‑learn” AI, der beskrives i Columbia‑undersøgelsen, ind på fabriksgulvet.

Væsentligt har Teradyne indgået et strategisk partnerskab med Nvidia (NVDA ) for at integrere “Isaac Manipulator”‑platformen. Dette gør det muligt for Teradynes robotter at bruge AI‑kameraer til at “se” deres omgivelser og dynamisk justere deres ruteplanlægning — meget ligesom Emo‑robotten lærer at justere sine læber — i stedet for at stole på stiv, forudskrevet kode.

2026‑præstation & værdiansættelse: Teradyne betragtes bredt som en “blue chip” robotaktie. Dens aktier steg næsten 50 % i 2025 og har fortsat at stige i begyndelsen af 2026, handlende omkring $230‑niveauet.

Seneste Teradyne (TER) nyheder og præstation

Konklusion

Introduktionen af realistiske robotansigter giver fuldstændig mening. LLM’er er nu i stand til at efterligne menneskelig tale, og når de kombineres med realistiske ansigtsudtryk, vil disse enheder levere et nyt niveau af træning, læring, sundhedspleje og mere. For nu vil teamet fokusere på at udglatte ufuldkommenheder og finde strategiske partnere og finansiering.

Lær om andre spændende robotgennembrud her.

Referencer

1. Yuhang Hu et al., Learning realistic lip motions for humanoid face robots. Science ^Robotics 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017