Robot Bertenaga AI Mempelajari Gerakan Bibir Manusia

Para insinyur Columbia telah menciptakan robot yang mampu meniru dan mempelajari gerakan bibir manusia saat berbicara. Desain yang ditingkatkan ini memadukan robotika canggih dengan AI, sehingga perangkat bernama Emo tersebut dapat belajar dengan mengamati ekspresi manusia dan menirukan emosi manusia pada saat yang tepat. Berikut hal-hal yang perlu Anda ketahui.

Mengapa Robot Humanoid Memicu Lembah Uncanny

Sejak masa awal robotika, para peneliti telah berupaya menciptakan robot humanoid. Tugas ini jauh lebih sulit daripada yang dibayangkan: meskipun para insinyur robotika terus membuat kemajuan, mereka belum sepenuhnya berhasil menciptakan perangkat yang terlihat dan terasa seperti manusia sungguhan.

Siapa pun yang pernah berada di dekat robot humanoid sederhana pun dapat merasakan ketidaknyamanan ketika perangkat itu berusaha menyerupai manusia. Ketidaktepatan sekecil apa pun, seperti gerakan mata atau ekspresi wajah yang tidak alami, dapat memicu perasaan tersebut pada pengamat.

The Uncanny Valley

Ahli robotika Jepang Masahiro Mori mengamati fenomena ini pada 1970-an. Dalam esainya yang kini terkenal, “Bukimi no Tani Gensho” (Lembah Kengerian), ia menguraikan konsep tersebut secara terperinci. Tulisan itu menjelaskan bahwa cacat-cacat halus membuat robot humanoid pada suatu titik menimbulkan keterputusan yang tajam dengan pengamatnya.

Pada 1978, istilah tersebut masuk ke kalangan ilmiah Barat melalui buku Jasia Reichardt, “Robots: Fact, Fiction, and Prediction,” yang menerjemahkannya menjadi istilah populer “uncanny valley”. Karya itu melanjutkan pembahasan Mori dengan menjelaskan bagaimana perbedaan terkecil dapat memicu reaksi negatif pada pengamat.

Wajah Manusia Adalah Bagian Tersulit

Dalam beberapa dekade terakhir, sejumlah pencapaian penting telah membawa robot humanoid semakin dekat pada kenyataan. Teknologi baru seperti model bahasa besar (LLM) memungkinkan perangkat ini berkomunikasi dengan bahasa alami dan membantu memperkecil kesenjangan. Namun, wajah manusia tetap menjadi salah satu bagian yang paling membutuhkan perhatian.

Wajah manusia merupakan perpaduan rumit antara jaringan, saraf, dan otot yang mampu menampilkan ribuan ekspresi berbeda. Banyak di antaranya membantu menyampaikan perasaan kepada orang lain, sehingga wajah dapat dipandang sebagai perangkat komunikasi yang paling lengkap.

Para insinyur robotika telah lama memahami pentingnya sekaligus sulitnya menciptakan wajah robot yang bekerja seperti wajah manusia. Setelah bertahun-tahun, robot kini dapat memiliki wajah, kulit, dan ekspresi yang tampak manusiawi. Namun, meskipun miliaran dolar telah dibelanjakan untuk riset, kedekatan itu masih belum tercapai.

Swipe to scroll →

Pentingnya Bibir dalam Komunikasi

Para ahli robotika terus menghadapi satu masalah besar saat menciptakan perangkat humanoid: gerakan bibir hampir mustahil direka ulang. Bibir tidak sekadar mengarahkan suara dan membantu mengucapkan kata.

Bibir juga menampilkan emosi secara halus, sesuatu yang selama ribuan tahun evolusi menjadi sangat penting bagi komunikasi manusia. Saat bercakap-cakap, gerakan bibir merupakan salah satu ciri wajah yang paling diperhatikan. Karena itu, otak mencurahkan lebih banyak daya pemrosesan pada gerakan tersebut dibandingkan tindakan lain seperti mengernyitkan dahi atau mengedipkan mata.

Bibir Robot Terlihat Tidak Alami

Meskipun robot semakin mampu terlihat seperti manusia, ekspresi bibirnya masih kurang meyakinkan. Riset selama puluhan tahun menunjukkan bahwa teknologi untuk mencapai sinkronisasi bibir dan audio yang diperlukan bagi perilaku realistis belum tersedia. Akibatnya, percakapan robot tampak seperti sulih suara, bukan benar-benar diucapkan, sehingga perangkat terlihat kaku dan tidak bernyawa.

Wajah manusia mengandalkan puluhan otot untuk menghasilkan respons emosional, sedangkan bibir robot belum memiliki tingkat kerumitan tersebut. Diperlukan desain baru untuk mencapainya. Selain itu, sebagian besar gerakan bibir robot telah ditentukan sebelumnya agar cocok dengan suara tertentu, bukan dirancang untuk membentuk kata secara alami. Karena robot tidak benar-benar menghasilkan suara dengan bibirnya, gerakannya terlihat tidak alami dan ganjil.

Studi Columbia: Mengajarkan Robot Gerakan Bibir Realistis

Untungnya, tim insinyur Columbia mungkin telah menemukan cara melintasi uncanny valley. Studi “Learning realistic lip motions for humanoid face robots¹” memperkenalkan jenis wajah robot baru yang terutama berfokus pada gerakan dan sinkronisasi bibir.

Perangkat Keras Khusus

Salah satu hambatan utama yang harus diatasi tim adalah kekakuan wajah robot saat ini. Banyak desain baru memang menghadirkan respons wajah yang digerakkan motor, tetapi belum ada yang mampu mendukung kerumitan gerakan bibir yang realistis.

Untuk mengatasi keterbatasan ini, para insinyur menggunakan bibir silikon yang dibuat khusus agar dapat menghasilkan ekspresi maksimal. Mereka kemudian memasang 26 motor wajah, transformator aksi wajah, dan variational autoencoder (VAE).

Vision-to-Action (VLA)

Inti terobosan teknologi ini adalah model AI vision-to-action. Dengan model tersebut, wajah robot dapat secara mandiri menghasilkan gerakan bibir realistis tanpa bergantung pada pengaturan mekanis yang telah ditentukan.

Untuk membuat model tersebut, tim menggunakan metode pembelajaran observasional. Pendekatan ini memungkinkan perangkat memahami dinamika bibir saat berbicara secara waktu nyata. Langkah pertama adalah memasukkan algoritme ke dalam alur pembelajaran mandiri.

Pada tahap ini, para insinyur menempatkan wajah robot di depan cermin dan memerintahkannya membuat ribuan ekspresi. Dengan cara itu algoritme merekam kemampuan ekspresi wajahnya. Setelahnya, robot menonton konten YouTube selama berjam-jam.

Kombinasi audio dan gerakan bibir dilacak dengan cermat lalu digunakan untuk memprogram algoritme AI bibir robot. Dalam beberapa hari, robot belajar bagaimana wajahnya seharusnya terlihat dari ekspresi manusia, alih-alih hanya mengandalkan parameter masukan. Para insinyur kemudian menambahkan audio dan mulai menguji.

Bagaimana AI Sinkronisasi Bibir Diuji di Berbagai Bahasa

Tim menguji teorinya dalam 10 bahasa dan konteks linguistik berbeda. Bahasa-bahasa itu sepenuhnya baru bagi model, sehingga model harus menghitung ekspresi wajah dan gerakan bibir yang tepat, bukan mengingat kata yang pernah dilatih. Menariknya, pengujian juga menggunakan konteks dan lagu.

Hasil Pengujian Robot Uncanny

Hasil pengujian menunjukkan sinkronisasi bibir dan audio yang konsisten secara visual. Robot berbasis algoritme itu menghasilkan gerakan bibir realistis yang cocok dengan berbagai klip audio. Robot tersebut berhasil menyelaraskan gerakan bibir dalam 10 bahasa dan bahkan menyanyikan lagu dari album debut buatan AI-nya, hello world_.

Tim juga menemukan beberapa keterbatasan. Robot belum dapat secara konsisten menirukan gerakan bibir sulit pada kata seperti “pop” dan kesulitan membentuk bibir untuk kata seperti “whistle”. Para insinyur menilai kekurangan kecil ini akan berkurang seiring peningkatan algoritme. Kemampuan belajar mandiri merupakan keunggulan utamanya: sistem akan terus membaik saat memperoleh lebih banyak data manusia dan membuka peluang interaksi manusia-mesin yang lebih bermakna.

Manfaat Utama Robotik Humanoid Realistis

Teknologi ini menawarkan beberapa manfaat bagi pasar. Salah satunya, manusia dapat membangun hubungan yang lebih mendalam dengan mesin. Kebanyakan orang tidak menyadari betapa banyak komunikasi berlangsung secara bawah sadar melalui ekspresi wajah.

Studi ini membuka jalan bagi teknologi sinkronisasi bibir dan AI percakapan untuk menciptakan pengalaman menyerupai interaksi manusia, yang antara lain dapat membantu mengatasi epidemi kesepian. Dengan teknologi ini, robot humanoid selangkah lebih dekat untuk melintasi uncanny valley dan membawa robotika ke tingkat baru.

Aplikasi Dunia Nyata & Garis Waktu

Teknologi ini memiliki banyak penerapan di berbagai industri. Penggunaan yang paling jelas adalah mendorong kemajuan robot humanoid. Kemampuan menampilkan wajah yang lembut dan hangat pada mesin dapat membantu meningkatkan adopsi. Berikut beberapa penerapan lainnya.

Perawatan Lansia

Meskipun tidak selalu dianggap paling melek teknologi, para lansia mulai menerima robotika dalam skala yang sama sekali baru. Pasar robot bantuan perawatan lansia terus berkembang; statistik menunjukkan nilainya mencapai $3,38 miliar pada 2025. Laporan yang sama memperkirakan nilainya melampaui $9,85 miliar pada 2033.

Lansia kemungkinan lebih bersedia berinteraksi dengan robot apabila teknologinya tidak terasa rumit. Karena itu, asisten robot yang dapat berbicara dengan gerakan wajah realistis bisa sangat sesuai. Pasien lansia dapat memperoleh rasa keterhubungan sekaligus bantuan yang mereka butuhkan.

Hiburan

Industri hiburan dapat menjadi salah satu pengguna pertama teknologi ini. Pembuat film kini sangat mengandalkan robotika, mulai dari animatronik di taman hiburan seperti Disney hingga robot penangkap gerak untuk film besar. Perangkat-perangkat tersebut telah mendorong industri hiburan maju.

Sektor robot hiburan saat ini bernilai lebih dari $4,72 miliar dan diperkirakan tumbuh menjadi $26,94 miliar pada 2034, didorong permintaan akan karakter CGI realistis. Dalam waktu dekat, teknologi ini dapat mengisi kebutuhan tersebut dan memungkinkan aktor membagikan ekspresi wajahnya kepada karakter dengan cara yang baru dan lebih langsung.

Pendidikan

Sektor pendidikan juga dapat menjadi tempat teknologi ini berkembang. Perangkat tersebut dapat digunakan sebagai tutor pribadi. Sejumlah laporan menunjukkan pemahaman matematika siswa meningkat 30% melalui pelajaran yang disesuaikan dengan robot.

Garis Waktu Adopsi

Teknologi ini diperkirakan mulai hadir dalam kehidupan sehari-hari dalam 5–10 tahun mendatang. Robot sudah digunakan di banyak pabrik dan tempat kerja, dan integrasinya diprediksi terus meningkat. Para ahli robotika memahami bahwa teknologi semacam ini dapat membuat perangkat mereka lebih mudah diterima manusia.

Peneliti Kunci di Columbia

Studi ini dilakukan di Creative Machines Lab milik Columbia. Makalahnya mencantumkan Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen, dan Hod Lipson sebagai kontributor.

Apa Selanjutnya untuk Robot Mirip Manusia

Tim selanjutnya akan berfokus menyempurnakan algoritme. Tahap ini akan melibatkan lebih banyak interaksi dengan manusia dan bahkan dapat berkembang menjadi beberapa unit yang belajar secara waktu nyata serta berbagi data dengan model terpusat.

Berinvestasi dalam Inovasi Robotik

Industri robotika bergerak cepat dan tumbuh pesat selama lima tahun terakhir. Teknologi baru seperti LLM dan printer 3D telah membawa inovasi ke tingkat baru. Untuk melihat peluang pasar yang lebih luas, baca panduan kami tentang investasi dalam AI Fisik dan robot humanoid pada 2026.

Berikut salah satu perusahaan yang berada di garis depan revolusi ini.

Teradyne ($36B)

Teradyne, Inc. (TER ) adalah perusahaan induk Universal Robots (UR), pemimpin pasar “cobot” atau robot kolaboratif. Meskipun tidak membuat wajah humanoid, Teradyne kini menjadi pemain utama yang membawa AI “amati dan pelajari” seperti dalam studi Columbia ke lantai pabrik.

Yang terpenting, Teradyne menjalin kemitraan strategis dengan Nvidia (NVDA ) untuk mengintegrasikan platform “Isaac Manipulator”. Robot Teradyne dapat memakai kamera AI untuk “melihat” lingkungannya dan menyesuaikan jalur secara dinamis—seperti Emo belajar menyesuaikan bibir—alih-alih mengandalkan kode kaku yang telah ditulis sebelumnya.

Kinerja & Penilaian 2026: Teradyne secara luas dianggap sebagai saham robotika unggulan. Sahamnya melonjak hampir 50% pada 2025 dan terus naik pada awal 2026, diperdagangkan di kisaran $230.

Berita dan Kinerja Terbaru Teradyne (TER)

Kesimpulan

Kehadiran wajah robot yang realistis sangat masuk akal. LLM kini mampu meniru ucapan manusia dan, jika dipadukan dengan ekspresi wajah realistis, perangkat ini dapat menghadirkan tingkat baru dalam pelatihan, pembelajaran, layanan kesehatan, dan bidang lainnya. Untuk saat ini, tim akan berfokus mengatasi kekurangan serta mencari mitra strategis dan pendanaan.

Pelajari terobosan robotika menarik lainnya di sini.

Referensi

1. Yuhang Hu et al., Learning realistic lip motions for humanoid face robots. Science ^Robotics 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017