Yapay Zeka Destekli Robotlar İnsan Dudak Hareketlerini Öğreniyor

Columbia Üniversitesi mühendisleri, konuşma sırasında insan dudak hareketlerini taklit edebilen ve öğrenebilen bir robot geliştirdi. Geliştirilmiş tasarım, gelişmiş robotik teknolojisini yapay zekayla birleştirerek, Emo adı verilen cihazın insan ifadelerini gözlemleyerek öğrenmesini ve gerektiğinde insan duygularını taklit etmesini sağlıyor. İşte bilmeniz gerekenler.

İnsansı Robotlar Neden Garip Bir Görünüm Yaratıyor?

Robotik biliminin ilk günlerinden beri, insansı robotlar yaratma arayışı olmuştur. Bu görev, söylendiği kadar kolay değildir; zira robot mühendisleri bu yönde sürekli ilerleme kaydetmiş olsalar da, gerçek bir insana benzeyen ve onun gibi hissettiren bir cihaz yaratma hedeflerine hiçbir zaman tam olarak ulaşamamışlardır.

En basit insansı robotların bile etrafında bulunmuş olan herkes, bu cihazların insan olarak algılanma yetenekleri açısından yarattığı tedirginliği doğrulayabilir. Doğal olmayan göz hareketleri veya yüz ifadeleri gibi en ufak hatalar bile gözlemcilerde bu hissi yaratabilir.

Canavar Vadisi

Japon robot bilimci Masahiro Mori bu fenomeni 1970'lerde fark etti. Şimdi ünlü olan "Bukimi no Tani Gensho"(Ürkütücülük Vadisi)" adlı makalesinde, kavramı ayrıntılı olarak ele alıyor. Makale, insansı robotların ince kusurlar nedeniyle gözlemcileriyle her zaman keskin bir kopma noktasına nasıl ulaştığını açıklıyor.

1978'de bu terim, Jasia Reichardt'ın "Robotlar: Gerçek, Kurgu ve TahminBu çalışma, terimi günümüzde yaygın olarak kullanılan "ürkütücü vadi" anlamına çeviren Mori'nin tartışmasına dayanarak, en küçük farklılıkların bile gözlemcinin algısında olumsuz tepkilere nasıl yol açabileceğini açıklıyor.

İnsan yüzleri denklemin en zor kısmı.

Son birkaç on yılda, insansı robotların yaratılması yolunda birçok önemli kilometre taşı kaydedildi. LLM'ler gibi yeni teknolojiler, bu cihazların doğal dil kullanarak iletişim kurmasını mümkün kılarak aradaki boşluğu kapatmaya yardımcı oluyor. Bununla birlikte, hala çok fazla ilgi gerektiren en büyük alanlardan biri insan yüzüdür.

İnsan yüzü, binlerce farklı ifadeyi gösterebilen, doku, sinir ve kaslardan oluşan karmaşık bir yapıdır; bu ifadelerin çoğu duyguları başkalarına iletmeye yardımcı olur. Bu nedenle yüz, en üstün iletişim aracı olarak kabul edilir.

Robot mühendisleri, insan gibi çalışan robot yüzler yaratmanın önemini ve zorluğunu uzun zamandır biliyorlar. Yıllarca süren yoğun çalışmalar sonucunda robotlar, deri ve ifadelerle insana benzeyen yüzler elde etmeyi başardılar. Ancak milyarlarca dolarlık araştırmaya rağmen, bağlantı hala kurulamadı.

Kaydırmak için kaydırın →

İletişimde Dudakların Önemi

Robot bilimciler, insansı cihazlar yaratırken sürekli olarak önemli bir sorunla karşılaşıyorlar: dudak hareketlerini yeniden yaratmak neredeyse imkansız. Dudaklarınız, sesinizin tonunu yönlendirmek ve kelimeleri telaffuz etmenize yardımcı olmaktan çok daha fazlasını yapıyor.

Dudaklarınız aslında ince bir düzeyde duyguları yansıtır ve bu, binlerce yıllık evrim boyunca insan iletişiminde hayati bir unsur haline gelmiştir. Özellikle, dudak hareketleriniz konuşmalar sırasında yüzünüzün en çok odaklanılan özelliklerinden biridir. Sonuç olarak, beyniniz bu jestlere, alın çatmak veya göz kırpmak gibi diğer hareketlerden daha fazla düşünme gücü ayırır.

Robotların Dudakları Doğal Görünmüyor

Robotlar neredeyse insana benzeme yeteneği kazanmış olsalar da, dudak ve yüz ifadeleri açısından hala eksiklikleri var. On yıllarca süren araştırmalar, gerçekçi davranışlar yaratmak için gereken doğru dudak-ses senkronizasyonunu sağlayacak teknolojinin mevcut olmadığını kanıtladı. Bu nedenle, robotların konuşmaları her zaman konuşulmuş gibi değil, dublajlanmış gibi görünüyor. Bu dublajlı ses efekti, bu cihazların beceriksiz ve cansız görünmesine neden oluyor.

İnsan yüzleri duygusal tepkiler oluşturmak için onlarca kas kullanır ve robotik dudaklar henüz bu karmaşıklık seviyesine sahip değildir. Bu karmaşıklık seviyesine ulaşmak için yeni bir tasarım türü gerekecektir. Ayrıca, robotik dudak hareketlerinin çoğu, kelimeyi doğal bir şekilde oluşturmak için tasarlanmış hareketler yerine, belirli ses yayınlarına uyacak şekilde önceden tanımlanmış hareketlerdir. Robotlar dudaklarıyla sesi gerçekten üretmedikleri için, hareketler doğal olmayan ve tuhaf bir şekilde algılanır.

Columbia Üniversitesi Araştırması: Robotlara Gerçekçi Dudak Hareketleri Öğretmek

Neyse ki, Columbia Üniversitesi'nden bir mühendis ekibi, "ürkütücü vadi"yi aşmanın yolunu bulmuş olabilir. "İnsan benzeri yüz robotları için gerçekçi dudak hareketleri öğrenme¹Bu çalışma, öncelikle dudak hareketine ve senkronizasyonuna odaklanan yeni bir robotik yüz türünü tanıtıyor.

Özel Donanım

Ekibin aşması gereken en büyük engellerden biri, günümüz robotik yüzlerinin sertliğiydi. Yüzde motor gücüyle çalışan tepkiler sağlayan birçok yeni tasarım olmasına rağmen, hiçbiri gerçekçi dudak hareketlerini mümkün kılmak için gereken karmaşıklığı destekleyemiyor.

Bu sınırlamayı aşmak için mühendisler, maksimum ifade sağlamak üzere özel olarak tasarlanmış silikon dudaklar kullandılar. Ardından, 26 yüz motoru, bir yüz hareket dönüştürücüsü ve bir varyasyonel otoenkoder (VAE) yerleştirdiler.

Vizyondan Eyleme (VLA)

Bu teknolojik atılımın özünde, görme-hareket yapay zeka modeli yer alıyor. Bu modeli kullanarak, robotik bir yüz, hareket için önceden tanımlanmış mekanik ayarlara bağlı kalmadan, gerçekçi dudaklar oluşturabilir.

Ekip, modeli oluşturmak için gözlemsel öğrenme yöntemlerinden yararlandı. Bu programlama tarzı, cihazın konuşma sırasında dudak dinamiklerini gerçek zamanlı olarak tam olarak belirlemesini sağlar. Bu nedenle, ilk adım algoritmayı kendi kendine denetimli öğrenme hattına dahil etmek oldu.

Bu aşamada mühendisler robotun yüzünü bir aynanın önüne yerleştirip binlerce yüz ifadesi oluşturmasını istediler. Bu işlem, algoritmanın yüz ifadelerini algılamasını sağladı. Ardından robot saatlerce YouTube içeriği izledi.

Ses ve dudak hareketlerinin birleşimi dikkatlice izlendi ve robotun yüz dudak yapay zeka algoritmasını programlamak için kullanıldı. Birkaç gün içinde, girdi parametreleri kullanmak yerine insan ifadesinden tam olarak yüzünün nasıl görünmesi gerektiğini öğrendi. Ardından mühendisler ses ekledi ve testlere başladı.

Dudak Senkronizasyon Yapay Zekasının Farklı Dillerde Nasıl Test Edildiği

Ekip, teorilerini 10 farklı dil ve dilsel bağlamda test etti. Testte, model için tamamen yeni diller kullanıldı; bu da modelin daha önce eğitilmiş kelimeleri hatırlamak yerine doğru yüz ifadelerini ve dudak hareketlerini hesaplamasını sağladı. İlginç bir şekilde, testte bağlam ve şarkılar da kullanıldı.

Tuhaf Robotlar Test Sonuçları

Test sonuçları, genel olarak görsel olarak tutarlı dudak-ses senkronizasyonunu gösterdi. Özellikle, algoritma destekli robot, çeşitli ses klipleriyle doğru bir şekilde eşleşen gerçekçi dudak hareketleri sergiledi. Etkileyici bir şekilde, dudak hareketlerini 10 dilde başarıyla senkronize etti ve hatta yapay zeka tarafından oluşturulan ilk albümünden bir şarkı bile söyledi. Selam Dünya_.

Dikkat çekici bir şekilde, ekip teknolojinin bazı sınırlamalarını da tespit etti. Örneğin, robot "pop" gibi kelimelerle ilişkilendirilen sert dudak hareketlerini tutarlı bir şekilde yeniden üretemedi. Ayrıca "whistle" gibi dudak büzme gerektiren kelimelerde de zorlandı. Mühendisler, bu küçük kusurların algoritma zamanla geliştikçe kendiliğinden düzeleceğini vurguladı. Bu kendi kendine öğrenme özelliği, algoritmanın en iyi yönüdür. Zamanla insanlardan daha fazla veri topladıkça sürekli olarak gelişecek ve gelecekte daha anlamlı insan-makine etkileşimlerinin önünü açacaktır.

Gerçekçi İnsansı Robotların Başlıca Faydaları

Bu teknoloji piyasaya birçok fayda sağlıyor. Birincisi, insanların makinelerle daha derin bir bağ kurmasına olanak tanıyacak. Çoğu insan, yüz ifadeleri aracılığıyla bilinçaltında ne kadar çok iletişimin gerçekleştiğinin farkında değil.

Bu çalışma, dudak senkronizasyonu teknolojisi ve konuşma yapay zekasının, yalnızlık salgınıyla mücadeleye ve daha fazlasına yardımcı olabilecek insan benzeri deneyimler yaratmasının önünü açıyor. Bu teknolojiyi kullanarak, insansı robotlar, "ürkütücü vadi"yi aşmaya ve robotik teknolojisini yeni bir seviyeye taşımaya bir adım daha yaklaşabilecekler.

Gerçek Dünya Uygulamaları ve Zaman Çizelgesi

Bu teknolojinin birçok sektörde geniş uygulama alanları bulunmaktadır. Bu teknolojinin en belirgin kullanım alanı, insansı robot teknolojisini ilerletmeye yardımcı olmaktır. Soğuk robotlara yumuşak, sıcak yüzler yansıtma yeteneği, benimsenmeyi hızlandırmaya yardımcı olabilir. İşte düşünülmesi gereken diğer bazı uygulamalar.

Yaşlı bakımı

Yaşlılar teknoloji konusunda çok bilgili olmasalar da, robotik teknolojisini tamamen yeni bir seviyede benimsemeye başladılar. Yaşlı bakımında yardımcı robotlar pazarı yükselişte. istatistik Bu rakamlar, sektörün 2025 yılında 3.38 milyar dolara ulaşacağını gösteriyor. Aynı raporlar, sektörün 2033 yılına kadar 9.85 milyar doları aşacağını öngörüyor.

Yaşlılar, robotlar teknolojik olarak karmaşık görünmediği takdirde onlarla etkileşime girmeye ve onları kabul etmeye daha istekli olurlar. Bu nedenle, gerçekçi yüz hareketlerinin yanı sıra konuşma yoluyla iletişim kurabilen bir robotik asistan mükemmel bir çözüm olabilir. Yaşlı hastalar, çok ihtiyaç duydukları yardımın yanı sıra bir bağ da kurabilirler.

Eğlence

Eğlence sektörü bu teknolojiyi ilk benimseyen sektörlerden biri olabilir. Film yapımcıları günümüz eğlence sektöründe robotik teknolojisine büyük ölçüde güveniyor. Disney gibi tema parklarında kullanılan animatroniklerden, büyük filmlerde kullanılan hareket yakalama robotlarına kadar, bu cihazlar eğlence sektörünü ileriye taşıdı.

Günümüzün eğlence robotları sektörü 4.72 milyar doları aşmış durumda. Gerçekçi CGI karakterlerine olan talebin artmasıyla bu değerin 2034 yılına kadar 26.94 milyar dolara ulaşması bekleniyor. Yakın gelecekte bu teknoloji, oyuncuların yüzlerini karakterlerle yeni ve daha doğrudan yollarla paylaşmalarını sağlayarak bu boşluğu doldurabilir.

Eğitim

Eğitim sektörü de bu teknolojinin gelişebileceği bir diğer alan. Burada bu cihazlar kişiselleştirilmiş öğretmenler olarak kurulabilir. Zaten bazı örneklerde bu cihazlar kullanılmaya başlandı. raporları Yapılan araştırmalar, robot destekli derslerin öğrencilerde matematik kavrama becerilerinde %30'luk bir artış sağladığını göstermiştir.

Evlat Edinme Zaman Çizelgesi

Bu teknolojinin önümüzdeki 5-10 yıl içinde günlük hayata sızmaya başlamasını bekleyebilirsiniz. Robotlar zaten birçok fabrika ve iş yerinde bulunuyor ve entegrasyonun yalnızca artacağı tahmin ediliyor. Robot bilimciler, bu tür teknolojinin entegrasyonunun cihazlarını daha anlaşılır hale getirmeye yardımcı olabileceğini anlıyorlar.

Columbia'daki Önemli Araştırmacılar

Çalışma Columbia'nın Yaratıcı Makineler Laboratuvarı'nın ev sahipliğinde gerçekleştirildi. Makalede Yuhang Hu, Jiong Lin, Judah Allen Goldfeder, Philippe M. Wyder, Yifeng Cao, Steven Tian, ​​Yunzhe Wang, Jingran Wang, Mengmeng Wang, Jie Zeng, Cameron Mehlman, Yingke Wang, Delin Zeng, Boyuan Chen ve Hod Lipson katkıda bulunanlar olarak listeleniyor.

İnsan Benzeri Robotlar İçin Sırada Ne Var?

Ekip artık algoritmayı daha da mükemmelleştirmeye odaklanacak. Bu adım daha fazla insan etkileşimi içerecek ve hatta gerçek zamanlı olarak öğrenme ve bu verileri merkezi bir modelle paylaşma yeteneğine sahip birden fazla birime dönüşebilir.

Robotik İnovasyonuna Yatırım

Robotik sektörü, son 5 yılda büyük bir büyüme gösteren, hızla gelişen bir sektördür. LLM'ler ve 3D yazıcılar gibi yeni teknolojilerin 도입u, inovasyonu yeni seviyelere taşımaya yardımcı olmuştur. Daha geniş pazar fırsatlarına kapsamlı bir bakış için kılavuzumuzu okuyun. 2026'da Fiziksel Yapay Zekaya ve insansı robotlara yatırım yapılması.

İşte bu devrimin ön saflarında yer alan şirketlerden biri.

teradin (36 milyar dolar)

Teradyne, Inc. (TER + 1.46%) Teradyne, "işbirlikçi robotlar" (cobotlar) alanında pazar lideri olan Universal Robots'un (UR) ana şirketidir. Teradyne insansı yüzler üretmese de, Columbia araştırmasında tanımlanan "izle ve öğren" yapay zekasını fabrika ortamına getirmede şu anda lider konumdadır.

Daha da önemlisi, Teradyne, Nvidia ile stratejik bir ortaklık kurmuştur. (NVDA + 1.16%) “Isaac Manipulator” platformunu entegre etmek. Bu, Teradyne'nin robotlarının, önceden yazılmış katı kodlara güvenmek yerine, yapay zeka kameralarını kullanarak çevrelerini “görmelerine” ve tıpkı Emo robotunun dudaklarını ayarlamayı öğrenmesi gibi, rotalarını dinamik olarak ayarlamalarına olanak tanır.

2026 Performans ve Değerlendirme: Teradyne, genel olarak "mavi çip" robotik hissesi olarak kabul ediliyor. Hisseleri 2025 yılında yaklaşık %50 oranında yükseldi ve 2026 yılının başlarında da yükselişini sürdürerek 230 dolar civarında işlem gördü.

Teradyne (TER) Hakkında Son Haberler ve Performans

Sonuç

Gerçekçi robotik yüzlerin kullanıma sunulması son derece mantıklı. Gerçekçi robotik cihazlar artık insan konuşmasını taklit edebiliyor ve gerçekçi yüz ifadeleriyle birleştiğinde, bu cihazlar eğitim, öğrenme, sağlık hizmetleri ve daha birçok alanda yeni bir seviye sağlayacak. Şimdilik ekip, kusurları gidermeye ve stratejik ortaklar ile finansman bulmaya odaklanacak.

Diğer harika robotik atılımlar hakkında bilgi edinin okuyun.

Referanslar

1.Yuhang Hu ve ark.İnsan benzeri yüz robotları için gerçekçi dudak hareketleri öğrenme. Bilim ^Robotik 11, eadx3017 (2026). DOI:10.1126/scirobotics.adx3017