Maaaring Magdulot ang Feedback Loops ng ‘Model Collapse’ sa mga LLM na Katulad ng Sakit na Mad Cow

Isang kakaibang isyu ang lumitaw sa mundo ng generative artificial intelligence. Ang problema ay napakalakas at kumplikado na maaaring ilagay sa panganib ang saklaw ng generative AI. Bago tayo mas malalim na maunawaan ang isyung ito, tingnan muna natin kung bakit itinuturing na napakahalaga ang isang hadlang na inaasahan sa pataas na kurba ng AI ay itinuturing na napakahalaga.

Paano Dapat Gawing Mas Epektibo ng AI ang Mundo

Sa nakalipas na ilang taon, ang mga benepisyo na iniaalok ng generative AI sa mundo ay nagpasigla nang malaki ng pag-aampon nito. 92% ng mga kumpanyang Fortune 500 ay nagpatupad ng generative AI, habang 70% ng GenZ ay sinubukan ang mga tool na ito.

Ang saklaw ng Generative AI ay napakalawak na halos 90% ng mga trabaho sa Amerika ay maaaring maapektuhannito, at 95% ng mga pakikipag-ugnayan sa customer ay maaaring isama ito pagsapit ng 2025. Habang ang kasalukuyang merkado ay halos US$45 bilyon, ang AI ay patuloy na lalago at makalikha ng hanggang 97 milyong trabaho sa susunod na taon.

Ang nagtataguyod na potensyal ng AI ay walang katulad, kung susukatin. Mahigit dalawang milyong software developer ang nagtatayo gamit ang OpenAI’s API, at karamihan sa mga developer na ito ay mula sa mga kumpanyang Fortune 500 na maaaring nagamit ang pinakamahuhusay na mapagkukunan para sa kanilang trabaho. Gayunpaman, pinili nilang mag-develop sa API.

Ang positibong pananaw na ito patungkol sa potensyal ng generative AI ay nasasalamin din sa isang survey na isinagawa ng Deloitte, na nagsabi na 94% ng mga executive ng negosyo ay naniniwala na ang AI ay susi sa tagumpay sa hinaharap.

Mula sa lahat ng datos at katotohanang ito, malinaw na maraming tao sa buong mundo ang umaasa sa generative AI para sa paglago sa hinaharap. Gayunpaman, isang isyu ang lumitaw na maaaring hamunin ang potensyal na paglago ng AI: Feedback Loops. Sa mga susunod na bahagi, susuriin natin ang isyung ito nang mas detalyado, tinitingnan ang lahat ng posibleng epekto at implikasyon.

Ano ang Feedback Loops

Sa pinakapayak na anyo, ang Feedback Loops ay hindi masama o nakasasama. Ito ay proseso ng paggamit ng output ng isang AI system at kaukulang aksyon ng end-user upang muling sanayin at pagbutihin ang mga modelo sa paglipas ng panahon. 

Dahil sa kanilang katangian, tinatawag silang closed-loop, at ang proseso ay kilala bilang closed-loop learning. Dito, may patuloy na paghahambing sa pagitan ng AI-generated output at ng huling desisyon upang magbigay ng feedback sa modelo, na nagpapahintulot nitong matuto mula sa mga pagkakamali nito. 

Gayunpaman, isang problema sa ganitong feedback loop learning ay lumilitaw kapag ginagamit ang synthetic data. Ang pagsasanay ng mga generative AI model ay nangangailangan ng napakalaking dami ng data, na limitado ang suplay at napakakaunti na ang mga modelong ito ay nauubos ang kanilang mga training resources. 

Kaya’t ang malalaking kumpanya ay masigasig na gamitin ang synthetic data upang sanayin ang mga susunod na henerasyon ng AI model. Gayunpaman, ang synthetic data ay may mga benepisyo at kahinaan. 

Mga Bentahe at Kakulangan ng Synthetic Data

Ang synthetic o AI-synthesized na data ay may maraming benepisyo. Halimbawa, ito ay mas mura kaysa sa totoong data, at—higit sa lahat—ang suplay ng ganitong data ay walang hanggan.

Dahil ang data ay synthetic, hindi ito nagmula sa totoong indibidwal at nagdudulot ng napakakaunting panganib sa privacy. Sa kabilang banda, ang totoong data, lalo na yaong ginagamit sa med-tech at healthcare, ay may panganib ng paglabag sa privacy. Bukod pa rito, may mga pagkakataon kung saan ang paggamit ng synthetic data ay nakatulong upang mapabuti ang pagganap ng AI.

Gayunpaman, sa kabilang banda, ang mga AI model na pinakain ng labis na synthetic data ay maaaring magkaroon ng limitasyon sa kanilang mga kakayahan at potensyal, na nagdudulot ng negatibong epekto sa mga susunod na iterasyon ng generative AI model. Ang pag-aasahan sa panganib na ito ay hindi walang basehan, dahil ang kamakailang pag-aaral na isinagawa ng Digital Signal Processing group sa Rice University ay nagpapatunay nito.

“Ang mga problema ay lumilitaw kapag ang pagsasanay gamit ang synthetic data ay, hindi maiiwasan, inuulit, na bumubuo ng isang uri ng feedback loop — na tinatawag naming autophagous o ‘self-consuming’ loop.”

Ang Hamon ng Synthetic Data-Induced Feedback Loops

Ngayon, upang maunawaan ang buong kalikasan ng problema, kailangan nating tingnan ang kaso ng feedback loops at synthetic data nang sabay. Maayos na inilahad ni Propesor Baraniuk ang problema sa pagsasabi ng sumusunod, “Ang aming grupo ay masusing nagtrabaho sa mga ganitong feedback loops, at ang masamang balita ay kahit pagkatapos ng ilang henerasyon ng ganitong pagsasanay, ang mga bagong modelo ay maaaring maging hindi na maayos na nasira. Ito ay tinawag na ‘model collapse’ ng ilan ⎯ , pinakabagong ng mga kasamahan sa larangan sa konteksto ng malalaking language model (LLMs). Gayunpaman, mas angkop sa amin ang terminong ‘Model Autophagy Disorder’ (MAD), ayon sa pagkakatulad sa mad cow disease.”

Upang ipaliwanag ang kahalagahan ng paghahambing na ito, ang Mad cow disease ay isang nakamamatay na neurodegenerative na sakit na apektado ang mga baka at may katumbas na sakit sa tao na dulot ng pagkain ng kontaminadong karne. Itoay ikinumpara sa hamon ng feedback loop na kinahaharap ng mga generative AI model dahil ang sakit ay kumakalat sa pamamagitan ng pagpapakain sa mga baka ng mga naprosesong tira ng kanilang mga kapwa na napatay. Ang gawaing pagpapakain ng natitirang data o data na nagmumula mismo sa proseso bilang byproduct ay ang ‘impeksyon’ na nagpapatuloy sa mga generative AI model ng hinaharap.  

Ang pag-aaral na tumingin sa isyung ito ay pinamagatang ‘Self-Consuming Generative Models Go MAD.’ Ang mahalaga rin tungkol sa pananaliksik ay ito ang unang peer-reviewed na pag-aaral tungkol sa AI autophagy na tumatalakay sa mga kilala at popular na visual AI model tulad ng DALL-E, Midjourney, at Stable Diffusion. Bagaman ang koponan ay nagtrabaho sa Visual AI, ayon kay Propesor Baraniuk, “ang parehong mga isyu ng pagkasira ng mad cow ay nangyayari rin sa mga LLMs.”

Ngayon na tiningnan na natin ang isyu at mga salik na nag-uudyok nito, kailangan nating tingnan ang epekto nito at kung paano ito maaaring makaapekto sa hinaharap na pag-unlad ng mga generative AI model. 

Kakulangan ng Sariwang Data na Nagdudulot ng Hindi Malusog na AI

Ang pangunahing problema na nagmumula sa isang apektado o infected na LLM ay isang mahina na AI model. Sa kakulangan ng sariwang totoong data, ang mga output ay nagiging baluktot at kulang sa kalidad at pagkakaiba-iba. 

Upang ipaliwanag ang senaryong ito sa mas madaling maunawaan at biswal na paraan, maaari nating gamitin ang kaso ng paglikha ng mga mukha ng tao gamit ang AI. Sa data na pinapakain sa pamamagitan ng progresibong iterative loops, lumilitaw ang posibilidad na lahat ng mukha ay magiging pareho, mas at mas katulad ng iisang tao.

Ang tindi ng ganitong mapaminsalang posibilidad ay matindi, kung susukatin. Ang tindi ay maaaring masukat mula sa komento ni Baraniuk, na nagsabi:

“Ilaw na ilang mga kahihinatnan: kung walang sapat na sariwang totoong data, ang mga hinaharap na generative model ay nakatakdang mag-MADness.”

Mayroon bang lunas sa ganitong uri ng sitwasyong tila nagbabanta sa mundo ng AI? Sa ngayon, nagpakilala ang mga mananaliksik ng isang sampling bias parameter na tumutugon sa tendensiya ng mga gumagamit na paboran ang kalidad ng data kaysa sa pagkakaiba-iba. Ang tendensiyang ito ay tinatawag na ‘Cherry Picking.’ Ang isang magandang bagay tungkol dito ay nakakatulong itong mapanatili ang kalidad ng data sa mas maraming iterasyon ng modelo. Gayunpaman, ang kapalit ay mas malaking pagbaba sa pagkakaiba-iba. 

Nakita na natin ang uri ng epekto na maaaring magkaroon ang AI sa ating hinaharap na mundo. Sa napakaraming potensyal na handang pakawalan, maaaring maapektuhan ng isyung ito ang napakaraming stakeholder, lalo na ang mga bago at makabagong negosyo na nagtrabaho dito. 

Ang Google ay isa sa mga nangungunang kumpanya na nagpapatakbo ng LLMs para sa isang malaki at iba’t-ibang hanay ng stakeholder. At ang kakulangan ng pagkakaiba-iba sa AI-generated na feed ay isang bagay na kailangang harapin ng Google sa mga darating na araw. Dito, titingnan natin nang maikli ang kakayahan ng Google AI pagdating sa pagpapatakbo ng mga LLM.

#1. Google AI

Sa larangan ng AI, dalawang operational wing na tumutulong Google makamit ang mga layunin nito ay ang Google DeepMind at Google Cloud. Upang mas detalyadong ipaliwanag ang kolaborasyon, dinadala ng Google Cloud ang mga inobasyon na binuo at sinubukan ng Google DeepMind sa kanyang enterprise-ready AI platform upang magamit ng mga customer sa pagbuo at paghahatid ng generative AI capabilities. Nag-aalok ang Google Cloud ng tatlong LLM services.

• Ang una ay Generative AI sa Vertex AI, na nagpapahintulot sa mga gumagamit na ma-access ang malalaking generative AI model ng Google upang subukan, i-tune, at i-deploy sa kanilang AI-powered na aplikasyon.
• Ang pangalawa ay Vertex AI agent builder, na nilalayong para sa enterprise search at chatbot applications. Ito ay may kasamang pre-built workflows para sa mga karaniwang gawain tulad ng onboarding, data ingestion, customization, atbp.
• Ang huli ay Contact Center AI, isang intelligent contact center solution na kasama ang Dialog Flow, ang conversational AI platform ng Google na may parehong intent-based at LLM capabilities.

Gayunpaman, kinailangan din ng Google na harapin ang ilang problema sa paggamit ng AI. Noong Mayo ngayong taon, nilinaw ni CEO Sundar Pichai na mali ang kumpanya nang mag-generate ito ng mga imahe na may racial bias bilang tugon sa mga query ng user. 

Kinailangan ng Google na ihinto ang image-generating features ng Gemini matapos magreklamo ang mga gumagamit sa social media tungkol sa kanilang solusyon na nagpatuloy ng maling mga imahe, kabilang ang paglalarawan ng mga taong may kulay kapag inilalarawan ang mga Nazi. 

Katulad ng marami sa pananaliksik na binanggit namin dito, inamin ng kumpanya na ang isyu ay nagmula sa “mga limitasyon sa training data na ginamit upang bumuo ng Gemini.”

Sa karagdagang paglilinaw kung saan nagmumula ang problema, sinabi rin ni Sundar Pichai:

“May mga pagkakataon na sinasagot mo [para sa mga tanong tulad ng] ‘Ano ang populasyon ng United States?’ Oo, ito ay tanong na maaaring sagutin. [Ngunit] may mga pagkakataon na nais mong ilahad ang lawak ng mga opinyon sa web, na siyang ginagawa ng search at ginagawa ito nang maayos.”

Ayon kay Pichai, ang gawaing ginawa ng Google sa mga nakaraang taon ay nagsisiguro na – mula sa pananaw ng Search – ang kumpanya ay nag-aalok ng mapagkakatiwalaan at mataas na kalidad na impormasyon. 

Sa pananalapi, iniulat ng Alphabet Inc. (GOOG ) (ang parent company ng Google) na umabot sa $307.4 bilyon ang kita noong 2023, tumaas ng 9% mula $282.8 bilyon noong 2022. Umabot sa $84.3 bilyon ang operating income, isang malaking pagtaas mula $74.8 bilyon noong nakaraang taon. Sa kabila ng pagtaas ng operating expenses sa $223.1 bilyon, ang net income ay $73.8 bilyon, kumpara sa $60 bilyon noong 2022.

#2. Cohere

Isa pang entidad na gumagawa ng mahusay na trabaho sa larangang ito ay ang Cohere na nakabase sa Toronto. Isa sa kanilang mga inisyatibo na karapat-dapat banggitin ay ang ‘Cohere for AI,’ isang non-profit research lab na naglalayong lutasin ang mga komplikadong problema sa machine learning. Hindi tulad ng tradisyunal na research group, ang Cohere for AI ay gumagana bilang hybrid lab na may dedikadong research staff at sumusuporta sa mga open science initiative. Nakikipagtulungan ang kumpanya nang bukas sa mga independent na mananaliksik sa buong mundo upang magsagawa ng top-tier na ML research.

Ang open science research community ng Cohere ay isang intersectional na espasyo na binubuo ng mga mananaliksik, engineer, linguist, social scientist, at mga lifelong learner. Ang espasyo ay umuunlad sa tulong ng mga kontribyutor mula sa mahigit isang daang bansa sa buong mundo.

Kabilang sa mga modelo ng Cohere ang Aya 23 – 8B at Aya 23 – 35B, mga state-of-the-art na accessible research LLMs, C4AI Command R – 104B at C4AI Command R – 35B, mga model weights para sa demokrasya ng access sa pananaliksik, at Aya, ang massively multilingual research LLM.

Kamakailan, inanunsyo ng Cohere at Fujitsu ang isang strategic partnership upang bumuo at magbigay ng enterprise AI services na may nangungunang kakayahan sa wikang Hapones. Sa ilalim ng mga termino ng kolaborasyon, magtatayo ang mga kumpanya ng malalakas na enterprise-grade large language models (LLMs) upang pagsilbihan ang pangangailangan ng mga global na negosyo.

Noong Marso ng taong ito, inanunsyo ng Cohere na naghahanap ito ng valuation na $5 bilyon sa pinakabagong fundraising efforts nito. Nais nitong makalikom ng humigit-kumulang $250 milyon sa round na ito, ayon sa isang source na pamilyar sa usapin.

Pangwakas na Kaisipan

LLMs at ang mga generative AI model na pinapagana nila ay mabilis na lumilitaw at umuunlad. Ang espasyong ito ay kinabibilangan ng cutting-edge na teknolohiya na napaka-ambisyoso at lubos na aspirasyonal. Kaya’t maasahan na magkakaroon ng malaking pagdagsa ng pananaliksik sa espasyong ito sa mga susunod na taon. 

Ang mga organisasyon sa pananaliksik, malalaking tech company, institusyong pang-edukasyon—lahat ng posibleng stakeholder ay masigasig na palakasin ang alokasyon ng kanilang mga mapagkukunan sa espasyong ito. Ang ganitong kasagsagan ng mga aktibidad ay magdudulot ng mas maraming kahinaan na lalabas. Ngunit magdudulot din ito ng pagwawasto ng kurso, pag-iisip nang labas sa kahon, at muling pag-imagine ng mga umiiral na solusyon sa pinaka-optimal na paraan.

I-click dito upang matutunan ang lahat tungkol sa pamumuhunan sa artificial intelligence.