Loop Umpan Balik Dapat Menyebabkan LLM Mengalami ‘Kehancuran Model’ Seperti Penyakit Sapi Gila

Sebuah masalah menarik telah muncul di dunia kecerdasan buatan generatif. Masalah ini begitu kuat dan kompleks sehingga dapat mengancam ruang lingkup AI generatif. Sebelum menyelami lebih dalam pemahaman tentang masalah ini, mari kita lihat sekilas mengapa hambatan yang diperkirakan pada kurva naik AI dianggap begitu signifikan.  

Bagaimana AI Seharusnya Membuat Dunia Lebih Efisien

Selama beberapa tahun terakhir, manfaat yang ditawarkan AI generatif kepada dunia telah meningkatkan adopsinya secara signifikan. 92% perusahaan Fortune 500 telah mengadopsi AI generatif, sementara 70% GenZ telah mencoba alat‑alat ini.

Cakupan AI generatif begitu luas sehingga hampir 90% pekerjaan di Amerika dapat terpengaruh olehnya, dan 95% interaksi pelanggan mungkin melibatkannya pada tahun 2025. Sementara pasar saat ini bernilai hampir US$45 miliar, AI hanya akan semakin besar dan dapat menghasilkan hingga 97 juta pekerjaan pada tahun berikutnya. 

Potensi AI yang memfasilitasi tidak tertandingi, sekadar mengatakan. Lebih dari dua juta pengembang perangkat lunak membangun di atas API OpenAI, dan sebagian besar pengembang ini berasal dari perusahaan Fortune 500 yang dapat memanfaatkan sumber daya terbaik yang tersedia untuk pekerjaan mereka. Namun, mereka memilih untuk mengembangkan di API.

Sentimen positif ini terhadap potensi AI generatif juga tercermin dalam survei yang dilakukan oleh Deloitte, yang menyatakan bahwa 94% eksekutif bisnis percaya bahwa AI adalah kunci keberhasilan masa depan.

Dari semua data dan fakta ini, jelas bahwa banyak orang di seluruh dunia menantikan AI generatif untuk pertumbuhan masa depan. Namun, muncul sebuah masalah yang dapat menantang potensi pertumbuhan AI: Loop Umpan Balik. Pada segmen berikut, kami akan mengeksplorasi masalah ini secara lebih detail, memeriksa semua kemungkinan dampak dan implikasinya.

Apa Itu Loop Umpan Balik

Pada bentuk paling dasar, Loop Umpan Balik tidak buruk atau berbahaya. Ini adalah proses memanfaatkan output dari sistem AI dan tindakan pengguna akhir yang bersangkutan untuk melatih kembali dan meningkatkan model seiring waktu. 

Karena sifatnya, mereka disebut loop tertutup, dan proses ini dikenal sebagai pembelajaran loop tertutup. Di sini, perbandingan konsisten terjadi antara output yang dihasilkan AI dan keputusan akhir untuk memberikan umpan balik ke model, memungkinkan model belajar dari kesalahannya. 

Namun, masalah muncul dalam pembelajaran loop umpan balik semacam ini ketika data sintetis diterapkan. Melatih model AI generatif memerlukan sejumlah besar data, yang terbatas pasokannya dan sangat langka sehingga model‑model ini menghabiskan seluruh sumber daya pelatihan mereka. 

Itulah mengapa perusahaan teknologi besar bersemangat memanfaatkan data sintetis untuk melatih generasi model AI berikutnya. Namun, data sintetis memiliki keuntungan dan kerugian. 

Keuntungan dan Kerugian Data Sintetis

Data sintetis atau data yang disintesis AI memiliki banyak manfaat. Misalnya, biayanya lebih murah dibandingkan data dunia nyata, dan—lebih penting—pasokan data semacam itu tidak terbatas.

Karena data tersebut disintesis, ia tidak berasal dari individu nyata dan menimbulkan sangat sedikit risiko privasi. Sebaliknya, data nyata, terutama yang digunakan di bidang med‑tech dan perawatan kesehatan, berisiko mengalami pelanggaran privasi. Selain itu, ada contoh di mana penggunaan data sintetis telah membantu meningkatkan kinerja AI. 

Namun, di sisi lain, model AI yang diberi terlalu banyak data sintetis dapat menjadi terbatas dalam fungsionalitas dan potensinya, menyebabkan dampak negatif pada iterasi model AI generatif di masa depan. Antisipasi risiko ini tidak tanpa dasar, sebagaimana pekerjaan terbaru yang dilakukan oleh Kelompok Pengolahan Sinyal Digital di Universitas Rice memvalidasinya. 

Menurut Richard Baraniuk, Profesor C. Sidney Burrus di bidang Teknik Elektro dan Komputer di Rice:

“Masalah muncul ketika pelatihan data sintetis ini, tak terhindarkan, diulang, membentuk semacam loop umpan balik ⎯ apa yang kami sebut loop autophagous atau ‘self‑consuming’ loop.”

Tantangan Loop Umpan Balik yang Dipicu oleh Data Sintetis

Untuk memahami sepenuhnya sifat masalah ini, kita harus melihat kasus loop umpan balik dan data sintetis secara bersamaan. Profesor Baraniuk dengan tepat merangkum masalah tersebut dengan mengatakan: “Kelompok kami telah bekerja secara ekstensif pada loop umpan balik semacam itu, dan berita buruknya adalah bahwa bahkan setelah beberapa generasi pelatihan seperti itu, model baru dapat menjadi rusak secara tidak dapat diperbaiki. Ini telah disebut ‘model collapse’ oleh beberapa orang —, paling baru oleh rekan‑rekan di bidang dalam konteks model bahasa besar (LLM). Namun, kami menemukan istilah ‘Model Autophagy Disorder’ (MAD) lebih tepat, dengan analogi pada penyakit sapi gila.” 

Untuk menjelaskan relevansi perbandingan ini, penyakit sapi gila adalah penyakit neurodegeneratif fatal yang memengaruhi sapi dan memiliki padanan manusia yang disebabkan oleh mengonsumsi daging terinfeksi. Ini dibandingkan dengan tantangan loop umpan balik yang dihadapi model AI generatif karena penyakit tersebut menyebar melalui praktik memberi makan sapi sisa‑sisa proses pemotongan rekan‑rekan mereka yang telah disembelih. Tindakan memberi makan data sisa atau data yang muncul dari proses itu sendiri sebagai produk sampingan adalah ‘infeksi’ yang memperpetuasikan model AI generatif masa depan. 

Studi yang meneliti masalah ini berjudul ‘Self‑Consuming Generative Models Go MAD‘. Yang juga signifikan tentang penelitian ini adalah bahwa ini merupakan karya peer‑reviewed pertama tentang autophagy AI yang menangani model visual AI populer dan terkenal seperti DALL‑E, Midjourney, dan Stable Diffusion. Meskipun tim bekerja dengan Visual AI, seperti yang ditunjukkan Profesor Baraniuk, “masalah korupsi sapi gila yang sama terjadi pada LLMs.” 

Sekarang setelah kami meneliti masalah dan faktor‑faktor yang mendorongnya, kita harus melihat dampaknya dan cara‑cara yang mungkin memengaruhi pengembangan model AI generatif di masa depan. 

Kekurangan Data Segar yang Mengakibatkan AI Tidak Sehat

Masalah inti yang timbul dari LLM yang terpengaruh atau terinfeksi adalah model AI yang miskin. Dengan kekurangan data segar yang nyata, output menjadi terdistorsi dan kurang kualitas serta keragaman. 

Untuk menjelaskan skenario ini secara lebih mudah dipahami dan visual, kita dapat mengambil contoh pembuatan wajah manusia dengan AI. Dengan data yang dimasukkan melalui loop iteratif progresif, kemungkinan semua wajah menjadi sama, semakin mirip dengan orang yang sama, muncul. 

Kekuatan kemungkinan merusak semacam itu sangat parah, sekadar mengatakan. Intensitasnya dapat diukur dari komentar Baraniuk, yang mengatakan:

“Beberapa dampak jelas: tanpa cukup data segar yang nyata, model generatif masa depan akan terjerumus pada kegilaan (MAD).”

Apakah ada obat untuk situasi kiamat semacam ini yang tampaknya mengintai besar dalam dunia pengembangan AI? Untuk saat ini, para peneliti telah memperkenalkan parameter bias sampling yang memperhitungkan kecenderungan pengguna untuk lebih memilih kualitas data daripada keragaman. Kecenderungan ini disebut ‘Cherry Picking.’ Hal baiknya adalah ini membantu mempertahankan kualitas data selama lebih banyak iterasi model. Namun, komprominya berupa penurunan keragaman yang lebih besar. 

Kita sudah melihat jenis dampak yang dapat AI miliki pada dunia masa depan kita. Dengan begitu banyak potensi yang siap dilepaskan, masalah ini dapat memengaruhi banyak pemangku kepentingan, terutama bisnis baru dan inovatif yang telah bekerja di bidang ini. 

Google adalah salah satu perusahaan terdepan yang menyediakan LLM untuk beragam pemangku kepentingan. Dan kurangnya keragaman dalam umpan yang dihasilkan AI adalah sesuatu yang harus dihadapi Google di masa mendatang. Di sini, kami secara singkat melihat kemampuan Google AI dalam hal penyediaan LLM. 

#1. Google AI

Dalam bidang AI, ada dua sayap operasional yang membantu Google mencapai tujuannya yaitu Google DeepMind dan Google Cloud. Untuk menjelaskan kolaborasi lebih spesifik, Google Cloud membawa inovasi yang dikembangkan dan diuji oleh Google DeepMind ke platform AI siap pakai bagi perusahaan sehingga pelanggan dapat mulai menggunakannya untuk membangun dan menyampaikan kemampuan AI generatif. Google Cloud menawarkan tiga layanan LLM.

• Yang pertama adalah Generative AI pada Vertex AI, yang memungkinkan pengguna mengakses model AI generatif besar Google untuk menguji, menyesuaikan, dan menerapkan dalam aplikasi berbasis AI mereka.
• Yang kedua adalah Vertex AI agent builder, yang ditujukan untuk pencarian perusahaan dan aplikasi chatbot. Ia dilengkapi dengan alur kerja pra‑bangun untuk tugas‑tugas umum seperti onboarding, ingest data, kustomisasi, dll.
• Yang terakhir adalah Contact Center AI, solusi pusat kontak cerdas yang mencakup Dialog Flow, platform AI percakapan Google dengan kemampuan berbasis intent dan LLM.

Namun, Google juga harus menghadapi sejumlah masalah dengan penggunaan AI yang tepat. Pada Mei tahun ini, CEO Google Sundar Pichai menegaskan bahwa perusahaan salah ketika menghasilkan hasil gambar yang bias rasial sebagai respons terhadap kueri pengguna. 

Google harus menjeda fitur pembuatan gambar Gemini setelah pengguna media sosial mengeluhkan solusi mereka yang memperpetuasi gambar salah, termasuk penggambaran orang berwarna ketika menggambarkan Nazi. 

Menggemakan banyak penelitian yang kami kutip di sini, perusahaan mengakui bahwa masalah muncul dari “keterbatasan data pelatihan yang digunakan untuk mengembangkan Gemini.” 

Menjelaskan lebih lanjut tentang letak masalah, Sundar Pichai juga mengatakan:

“Ada kalanya Anda menjawab [untuk pertanyaan seperti] ‘Berapa populasi Amerika Serikat?’ Ya, itu pertanyaan yang dapat dijawab. [Namun] ada kalanya Anda ingin menampilkan beragam pendapat yang ada di web, yang merupakan apa yang dilakukan pencarian dan melakukannya dengan baik.”

Menurut Pichai, pekerjaan yang telah dilakukan Google selama bertahun‑tahun memastikan bahwa—dari sudut pandang Pencarian—perusahaan menawarkan informasi yang dapat dipercaya dan berkualitas tinggi. 

Secara finansial, Alphabet Inc. (GOOG ) (perusahaan induk Google) melaporkan pendapatan sebesar $307,4 miliar pada 2023, naik 9% dari $282,8 miliar pada 2022. Pendapatan operasional mencapai $84,3 miliar, peningkatan signifikan dari $74,8 miliar tahun sebelumnya. Meskipun biaya operasional meningkat menjadi $223,1 miliar, laba bersih adalah $73,8 miliar, dibandingkan $60 miliar pada 2022.

#2. Cohere

Entitas lain yang telah melakukan pekerjaan hebat di bidang ini adalah Cohere yang berbasis di Toronto. Salah satu inisiatif mereka yang patut disebutkan adalah ‘Cohere for AI‘, laboratorium riset nirlaba yang berupaya menyelesaikan masalah pembelajaran mesin yang kompleks. Tidak seperti kelompok riset tradisional, Cohere for AI beroperasi sebagai laboratorium hibrida dengan staf riset khusus serta dukungan untuk inisiatif ilmu terbuka. Perusahaan berkolaborasi secara terbuka dengan peneliti independen di seluruh dunia untuk melakukan riset ML tingkat atas.

Komunitas riset ilmu terbuka Cohere merupakan ruang interseksional yang terdiri dari peneliti, insinyur, ahli bahasa, ilmuwan sosial, dan pembelajar seumur hidup. Ruang ini berkembang dengan kontributor dari lebih dari seratus negara di dunia. 

Beberapa model Cohere meliputi Aya 23 – 8B dan Aya 23 – 35B, LLM riset aksesibel mutakhir, C4AI Command R – 104B dan C4AI Command R – 35B, bobot model untuk mendemokratisasi akses riset, serta Aya, LLM riset multibahasa secara masif. 

Baru‑baru ini, Cohere dan Fujitsu mengumumkan kemitraan strategis untuk mengembangkan dan menyediakan layanan AI perusahaan dengan kemampuan bahasa Jepang terdepan di industri. Berdasarkan ketentuan kolaborasi, perusahaan akan membangun model bahasa besar (LLM) tingkat perusahaan yang kuat untuk melayani kebutuhan bisnis global.

Pada Maret tahun ini, Cohere mengumumkan bahwa mereka mencari penilaian sebesar $5 miliar dalam upaya penggalangan dana terbaru mereka. Mereka berencana mengumpulkan sekitar $250 juta melalui putaran pendanaan ini, menurut sumber yang familiar dengan hal tersebut.

Pemikiran Penutup

LLM dan model AI generatif yang mereka dayakan sedang muncul dan berkembang dengan cepat. Ruang ini melibatkan teknologi mutakhir yang sangat ambisius dan sangat aspiratif. Oleh karena itu, dapat diperkirakan akan ada aliran penelitian signifikan di ruang ini dalam beberapa tahun mendatang. 

Organisasi riset, perusahaan teknologi besar, institusi pendidikan—setiap pemangku kepentingan yang mungkin bersemangat untuk meningkatkan alokasi sumber daya mereka di ruang ini. Kegilaan aktivitas ini berarti lebih banyak kelemahan yang muncul. Namun, ini juga berarti koreksi arah, berpikir di luar kotak, dan membayangkan kembali solusi yang ada dengan cara paling optimal.

Klik di sini untuk mempelajari semua tentang berinvestasi dalam kecerdasan buatan.