Geri Bildirim Döngüleri, LLM’lerin Çılgın Sığır Hastalığına Benzer ‘Model Çöküşü’ Yaşamasına Neden Olabilir

Üretken yapay zeka dünyasında ilginç bir sorun ortaya çıktı. Sorun o kadar güçlü ve karmaşık ki, üretken AI kapsamını tehlikeye atabilir. Bu sorunu daha derinlemesine anlamaya dalmadan önce, AI’nın yükselen eğrisinde öngörülen bir engelin neden bu kadar önemli olduğuna hızlı bir göz atalım. olarak kabul ediliyor bu kadar önemli olduğunu. 

AI’nın Dünyayı Daha Verimli Hale Getirmesi Gereken Şekil

Son birkaç yılda, üretken AI’nın dünyaya sunduğu yararlar benimsenmesini önemli ölçüde artırdı. Fortune 500 şirketlerinin %92’si üretken AI’yı benimsemişken, GenZ’nin %70’i bu araçları denedi.

Üretken AI’nın kapsamı o kadar yaygın ki, Amerikan işlerinin neredeyse %90’ı bundan etkilenebilir ve 2025 yılına kadar müşteri etkileşimlerinin %95’i AI’yı içerebilir. Şu anki pazar değeri yaklaşık 45 milyar ABD doları iken, AI daha da büyüyerek önümüzdeki yıl 97 milyon kadar yeni iş yaratabilir. 

AI’nın potansiyeli en azından eşsizdir. İki milyondan fazla yazılım geliştiricisi OpenAI API’si üzerinde çalışıyor ve bu geliştiricilerin çoğu, işlerine en iyi kaynakları sağlayabilecek Fortune 500 şirketlerinden. Yine de API üzerinde geliştirmeyi tercih ettiler.

Üretken AI potansiyeline yönelik bu olumlu tutum, Deloitte tarafından yapılan bir ankette de yansıtıldı; ankete göre iş yöneticilerinin %94’ü AI’nın gelecekteki başarının anahtarı olduğuna inanıyor.

Tüm bu veri ve gerçeklerden, dünya çapında birçok kişinin gelecekteki büyüme için üretken AI’yi beklediği açıktır. Ancak, AI’nın büyüme potansiyelini tehdit edebilecek bir sorun ortaya çıktı: Geri Bildirim Döngüleri. Aşağıdaki bölümlerde bu sorunu daha ayrıntılı inceleyecek, olası tüm sonuçlarını ve etkilerini ele alacağız.

Geri Bildirim Döngüleri Nedir

En temel biçimlerinde, Geri Bildirim Döngüleri kötü ya da zararlı değildir. Bu, bir AI sisteminin çıktısını ve ilgili son kullanıcı eylemlerini kullanarak modelleri zaman içinde yeniden eğitme ve iyileştirme sürecidir. 

Doğaları gereği, kapalı döngü olarak adlandırılırlar ve süreç kapalı döngü öğrenmesi olarak bilinir. Burada, AI tarafından üretilen çıktı ile nihai karar arasında tutarlı bir karşılaştırma yapılır, model geri bildirim alır ve hatalarından öğrenir. 

Ancak, bu tür geri bildirim döngüsü öğreniminde bir sorun, sentetik veri eyleme konulduğunda ortaya çıkar. Üretken AI modellerinin eğitilmesi büyük miktarda veri gerektirir; bu veriler sınırlı ve kıt olduğundan modeller eğitim kaynaklarını tamamen tüketebilir. 

Bu yüzden büyük teknoloji şirketleri, gelecekteki AI modellerini eğitmek için sentetik veriden yararlanmak istiyor. Ancak, sentetik verinin de avantajları ve dezavantajları vardır. 

Sentetik Verinin Avantajları ve Dezavantajları

Sentetik ya da AI tarafından sentezlenen verinin birçok faydası vardır. Örneğin, gerçek dünya verisinden daha ucuzdur ve — daha da önemlisi — bu verinin temini sınırsızdır.

Veri sentezlenmiş olduğu için gerçek bir bireyden gelmez ve çok az gizlilik riski taşır. Aksi takdirde, özellikle med-tech ve sağlık alanlarında kullanılan gerçek veriler gizlilik ihlali riskine sahiptir. Ayrıca, sentetik veri kullanımının AI performansını artırdığı durumlar da vardır. 

Ancak, diğer yandan, çok fazla sentetik veriyle beslenen AI modelleri işlevsellik ve potansiyel açısından sınırlı hale gelebilir, bu da üretken AI modellerinin gelecekteki nesillerine olumsuz etkiler yapar. Bu riskin beklentisi temelsiz değildir; çünkü yakın zamanda Rice Üniversitesi Dijital Sinyal İşleme Grubu doğrulamaktadır. 

Richard Baraniuk’a göre, Rice Üniversitesi Elektrik ve Bilgisayar Mühendisliği C. Sidney Burrus Profesörü:

“Problemler, bu sentetik veri eğitimi kaçınılmaz olarak tekrarlandığında ortaya çıkar ve bir tür geri bildirim döngüsü oluşturur — buna otophajik ya da ‘kendini tüketen’ döngü diyoruz.”

Sentetik Veri Kaynaklı Geri Bildirim Döngülerinin Zorluğu

Şimdi, sorunun tam doğasını anlamak için, geri bildirim döngüleri ve sentetik verinin birlikte incelenmesi gerekir. Profesör Baraniuk, sorunu şu şekilde özetlemiştir: “Grubumuz bu tür geri bildirim döngüleri üzerinde kapsamlı çalıştı ve kötü haber şu ki, bu eğitimin birkaç nesilinden sonra bile yeni modeller geri dönüşü olmayan şekilde bozulabiliyor. Bu durum bazıları tarafından ‘model çöküşü’ olarak adlandırıldı — en son büyük dil modelleri (LLM’ler) bağlamında alandaki meslektaşlar tarafından. Ancak biz, bu terimi ‘Model Otofaji Bozukluğu’ (MAD) olarak, çılgın sığır hastalığına benzeterek daha uygun buluyoruz.”

Bu karşılaştırmanın önemini açıklamak için, çılgın sığır hastalığı (BSE), sığırlara bulaşan ölümcül bir nörodejeneratif hastalıktır ve enfekte et tüketimiyle insanlarda benzeri ortaya çıkar. Bu hastalık, sığırlara kesilen akranlarının işlenmiş artıklarıyla besleme uygulamasıyla yayılır; bu da üretken AI modellerinin karşılaştığı geri bildirim döngüsü sorununa benzetilir. Artık veri ya da sürecin bir yan ürünü olarak ortaya çıkan veriyi besleme eylemi, gelecekteki üretken AI modellerini sürdüren ‘enfeksiyon’dur.

Bu konuyu inceleyen çalışma ‘Self-Consuming Generative Models Go MAD’ başlığını taşıyordu. Araştırmanın bir diğer önemli yönü, DALL-E, Midjourney ve Stable Diffusion gibi popüler ve tanınmış görsel AI modellerini ele alan AI otofajı üzerine ilk hakemli çalışma olmasıdır. Ekip Görsel AI ile çalışmış olsa da, Profesör Baraniuk’un belirttiği gibi, “aynı çılgın sığır bozulma sorunları LLM’lerde de ortaya çıkıyor.”

Şimdi, sorunu ve onu tetikleyen faktörleri incelediğimize göre, etkisine ve üretken AI modellerinin gelecekteki gelişimini nasıl etkileyebileceğine bakmalıyız.

Taze Veri Eksikliği ve Sağlıksız AI

Etkilenmiş veya enfekte olmuş bir LLM’den kaynaklanan temel sorun, yetersiz bir AI modelidir. Taze gerçek veri eksikliği, çıktıları bozulmuş ve kalite ve çeşitlilikten yoksun hale getirir. 

Bu senaryoyu daha anlaşılır ve görsel bir şekilde açıklamak için, AI ile insan yüzleri üretme örneğini ele alabiliriz. Veriler ilerleyici yinelemeli döngülerle beslendikçe, tüm yüzlerin aynı, giderek aynı kişiye benzemesi olasılığı ortaya çıkar. 

Bu zararlı olasılıkların şiddeti en ufak bir ifadeyle bile şiddetlidir. Şiddet, Baraniuk’un şu yorumu ile ölçülebilir: 

“Bazı sonuçlar açıktır: yeterli taze gerçek veri olmadan, gelecekteki üretken modeller MADness’e mahkumdur.”

AI geliştirme dünyasında büyük bir tehdit gibi görünen bu kıyamet senaryosuna bir çözüm var mı? Şimdilik, araştırmacılar kullanıcıların veri kalitesini çeşitliliğe tercih etme eğilimini hesaba katan bir örnekleme yanlılığı parametresi tanıttılar. Bu eğilim ‘Cherry Picking’ (Kiraz Toplama) olarak adlandırılıyor. Bunun iyi yanı, daha fazla model yinelemesi boyunca veri kalitesinin korunmasına yardımcı olmasıdır. Ancak, ödün çeşitliliğin daha büyük bir düşüşü şeklindedir. 

AI’nın gelecekteki dünyamıza ne tür bir etki yapabileceğini zaten gördük. Bu kadar büyük bir potansiyel ortaya çıkmak üzereyken, bu sorun birçok paydaşı, özellikle de üzerinde çalışan yeni ve yenilikçi işletmeleri etkileyebilir. 

Google, geniş ve çeşitli bir paydaş kitlesi için LLM’leri güçlendiren öncü şirketlerden biridir. AI tarafından üretilen akışlardaki çeşitlilik eksikliği, Google’ın önümüzdeki günlerde ele alması gereken bir konudur. Burada, Google AI’nın LLM’leri güçlendirme konusundaki yeteneklerine kısaca göz atıyoruz. 

#1. Google AI

AI alanında, Google’ın hedeflerine ulaşmasına yardımcı olan iki operasyonel kol Google accomplish its goals Google DeepMind ve Google Cloud’dur. İş birliğini daha ayrıntılı açıklamak gerekirse, Google Cloud, Google DeepMind tarafından geliştirilen ve test edilen yenilikleri kurumsal hazır AI platformuna getirir, böylece müşteriler bunları kullanarak üretken AI yetenekleri oluşturup sunabilir. Google Cloud üç LLM hizmeti sunar.

• İlk olarak, Vertex AI üzerindeki Üretken AI, kullanıcıların Google’ın büyük üretken AI modellerine erişerek test etmelerini, ayarlamalarını ve AI destekli uygulamalarına dağıtmalarını sağlar.
• İkincisi, Vertex AI ajan oluşturucu, kurumsal arama ve sohbet botu uygulamaları için tasarlanmıştır. Onboarding, veri alımı, özelleştirme gibi yaygın görevler için önceden oluşturulmuş iş akışlarıyla birlikte gelir.
• Son olarak, Contact Center AI, Dialog Flow’u içeren akıllı bir iletişim merkezi çözümüdür; Dialog Flow, niyet tabanlı ve LLM yeteneklerine sahip Google’ın konuşma AI platformudur.

Ancak, Google da AI kullanımında adil bir sorunla karşılaştı. Bu yıl Mayıs ayında, Google CEO’su Sundar Pichai, şirketin kullanıcı sorgularına yanıt olarak ırkçı önyargılı görsel sonuçlar ürettiğinde hatalı olduğunu açıklamaya karar verdi. 

Google, sosyal medya kullanıcılarının Gemini’nin görüntü üretme özelliklerinin, özellikle renkli insanları Nazi’ler olarak tasvir etmesi gibi hatalı görseller ürettiği şikayetleri üzerine Gemini’nin görüntü üretme özelliklerini duraklatmak zorunda kaldı.

Burada atıfta bulunduğumuz araştırmaların çoğunu yansıtarak, şirket Gemini’yi geliştirmek için kullanılan eğitim verilerindeki “sınırlamalardan” kaynaklanan bir sorunun ortaya çıktığını kabul etti.

Sorunun nerede yattığını daha da açıklayarak, Sundar Pichai şu sözleri de söyledi:

“Bazı zamanlar ‘Amerika Birleşik Devletleri’nin nüfusu nedir?’ gibi sorulara cevap verirsiniz, evet, yanıtlanabilir bir sorudur. [Ama] bazı zamanlar web’de mevcut olan geniş bir görüş yelpazesini ortaya çıkarmak istersiniz; bu da aramanın yaptığı şeydir ve bunu iyi yapar.”

Pichai’ye göre, Google’ın yıllar içinde yaptığı çalışmalar, Arama açısından şirketin güvenilir, yüksek kaliteli bilgi sunduğunu garanti eder.

Finansal olarak, Alphabet Inc. (GOOG ) (Google’ın ana şirketi) 2023’te 307,4 milyar dolar gelir bildirdi; bu, 2022’deki 282,8 milyar doların %9 artışı. Faaliyet geliri 84,3 milyar dolara ulaştı; bu, bir önceki yılın 74,8 milyar dolarından önemli bir artış. Operasyonel giderler 223,1 milyar dolara yükselmesine rağmen, net gelir 73,8 milyar dolar oldu; 2022’de 60 milyar dolar idi.

#2. Cohere

Bu alanda harika çalışmalar yapan bir diğer kuruluş, Toronto merkezli Cohere’dir. Özel bir değere sahip girişimlerinden biri ‘Cohere for AI’ adlı, karmaşık makine öğrenimi problemlerini çözmeyi amaçlayan kar amacı gütmeyen bir araştırma laboratuvarıdır. Geleneksel bir araştırma grubundan farklı olarak, Cohere for AI, hem özel bir araştırma ekibi hem de açık bilim girişimlerine destek sunan hibrit bir laboratuvar olarak çalışır. Şirket, dünya çapında bağımsız araştırmacılarla açık bir şekilde iş birliği yaparak üst düzey ML araştırmaları yürütür.

Cohere’ın açık bilim araştırma topluluğu, araştırmacılar, mühendisler, dilbilimciler, sosyal bilimciler ve yaşam boyu öğrenenlerden oluşan kesişimsel bir alandır. Bu alan, dünyadaki yüzden fazla ülkeden gelen katkıcılarla gelişmektedir.

Cohere’ın modellerinden bazıları Aya 23 – 8B ve Aya 23 – 35B, en yeni erişilebilir araştırma LLM’leri; C4AI Command R – 104B ve C4AI Command R – 35B, araştırma erişimini demokratikleştirmek için model ağırlıkları; ve Aya, büyük ölçüde çok dilli araştırma LLM’idir.

Son zamanlarda, Cohere ve Fujitsu, sektörde lider Japonca dil yeteneklerine sahip kurumsal AI hizmetleri geliştirmek ve sunmak için stratejik bir ortaklık duyurdu. İş birliği kapsamında, şirketler küresel işletmelerin ihtiyaçlarını karşılamak üzere güçlü kurumsal ölçekli büyük dil modelleri (LLM’ler) inşa edecek.

Bu yıl Mart ayında, Cohere en son fon toplama çabalarında 5 milyar dolar değerleme hedeflediğini duyurdu. Kaynağa göre, bu turda yaklaşık 250 milyon dolar toplamak istiyor.

Sonuç Düşünceleri

LLM’ler ve onları besleyen üretken AI modelleri hızla ortaya çıkıyor ve evrimleşiyor. Bu alan, büyük ölçüde iddialı ve yoğun bir şekilde hırslı keskin teknoloji içeriyor. Bu nedenle, önümüzdeki yıllarda bu alanda önemli bir araştırma akışı beklemek makul olur. 

Araştırma kuruluşları, büyük teknoloji şirketleri, eğitim kurumları—bu alanda her olası paydaş kaynak tahsislerini artırmaya istekli. Böyle bir faaliyet patlaması, daha fazla dezavantajın ortaya çıkması anlamına gelir. Ancak aynı zamanda yön değiştirme, kutunun dışını düşünme ve mevcut çözümleri en optimize şekilde yeniden hayal etme anlamına da gelir.

Yapay zekaya yatırım hakkında her şeyi öğrenmek için buraya tıklayın.