Feedback-loopar kan leda till att LLM:er drabbas av en ‘modellkollaps’ liknande galna ko-sjukan

Ett märkligt problem har dykt upp i den generativa artificiella intelligensens värld. Problemet är så kraftfullt och komplext att det kan hota omfattningen av generativ AI. Innan vi fördjupar oss i att förstå detta problem, låt oss ta en snabb titt på varför ett hinder som förväntas på AI:s uppåtgående kurva anses vara så betydelsefullt. 

Hur AI förväntas göra världen mer effektiv

Under de senaste åren har de fördelar som generativ AI har erbjudit världen har ökat dess adoption avsevärt. 92 % av Fortune 500-företagen har antagit generativ AI, medan 70 % av GenZ har provat dessa verktyg.

Generativ AI:s räckvidd är så omfattande att nästan 90 % av amerikanska jobb kan påverkas av den, och 95 % av kundinteraktioner kan involvera den år 2025. Medan den nuvarande marknaden är värd nästan US$45 miljarder, kan AI bara bli större och generera upp till 97 miljoner jobb nästa år. 

Den möjliggörande potentialen hos AI har varit ojämförlig, för att säga det milt. Över två miljoner mjukvaruutvecklare bygger på OpenAI:s API, och de flesta av dessa utvecklare är från Fortune 500-företag som kunde ha utnyttjat de bästa resurserna tillgängliga för deras arbete. Ändå valde de att utveckla på API.

Denna positiva inställning till generativ AI:s potential återspeglas också i en undersökning utförd av Deloitte, som visade att 94 % av företagsledare ansåg att AI var nyckeln till framtida framgång.

Utifrån alla dessa data och fakta är det tydligt att många människor världen över ser fram emot generativ AI för framtida tillväxt. Ett problem har dock uppstått som kan utmana AI:s tillväxtpotential: feedback-loopar. I de följande avsnitten kommer vi att utforska detta problem mer i detalj och undersöka alla dess möjliga konsekvenser och implikationer.

Vad är feedback-loopar

I sin enklaste form är feedback-loopar varken dåliga eller skadliga. Det är processen att utnyttja en AI-systems output och motsvarande slutanvändaråtgärder för att återträna och förbättra modeller över tid. 

På grund av deras natur kallas de slutna loopar, och processen är känd som slutet-loop-lärande. Här sker en konsekvent jämförelse mellan AI-genererad output och det slutgiltiga beslutet för att ge feedback till modellen, vilket möjliggör att den lär sig av sina misstag. 

Dock uppstår ett problem med sådan feedback-loop-lärning när syntetisk data sätts i spel. Träning av generativa AI-modeller kräver enorma mängder data, som är begränsade i tillgång och så knappa att dessa modeller helt uttömmer sina träningsresurser. 

Det är därför stora teknikföretag är angelägna om att utnyttja syntetisk data för att träna framtida generationer av AI-modeller. Dock har syntetisk data både fördelar och nackdelar.

Fördelar och nackdelar med syntetisk data

Syntetisk eller AI‑syntetiserad data har många fördelar. Till exempel är den billigare än verklig data, och – viktigare – tillgången på sådan data är obegränsad.

Eftersom data syntetiseras, kommer den inte från en verklig individ och medför mycket få integritetsrisker. Annars löper verklig data, särskilt den som används inom med‑tech och sjukvård, risken för integritetsintrång. Dessutom finns det exempel där användning av syntetisk data har hjälpt till att förbättra AI-prestanda. 

Dock, på motsatt sida, kan AI-modeller som matas med för mycket syntetisk data bli begränsade i sina funktioner och potential, vilket orsakar negativa effekter på framtida iterationer av generativa AI-modeller. Förväntningen på denna risk är inte obefogad, eftersom ett nyligen utfört arbete av Digital Signal Processing group at Rice University bekräftar detta. 

Enligt Richard Baraniuk, Rice’s C. Sidney Burrus Professor of Electrical and Computer Engineering:

“Problemen uppstår när denna syntetiska dataträning, oundvikligen, upprepas och bildar en slags feedback-loop ⎯ vad vi kallar en autofagisk eller ‘självkonsumerande’ loop.”

Utmaningen med syntetisk data‑inducerade feedback-loopar

För att förstå problemets fulla natur måste vi titta på fallet med feedback-loopar och syntetisk data tillsammans. Professor Baraniuk har på ett träffande sätt sammanfattat problemet med att säga följande,  “Vår grupp har arbetat extensivt med sådana feedback-loopar, och den dåliga nyheten är att även efter några generationer av sådan träning kan de nya modellerna bli oåterkalleligt korrupta. Detta har benämnts ‘model collapse’ av vissa ⎯ , mest nyligen av kollegor inom området i samband med stora språkmodeller (LLMs). Vi anser dock att termen ‘Model Autophagy Disorder’ (MAD) är mer lämplig, med analogi till galna ko-sjukan.”

För att förklara relevansen av denna jämförelse är galna ko-sjukan en dödlig neurodegenerativ sjukdom som drabbar kor och har en mänsklig motsvarighet som orsakas av att konsumera infekterat kött. Detjämförs med feedback-loop-utmaningen som generativa AI-modeller står inför eftersom sjukdomen sprider sig genom att ge kor de bearbetade resterna av deras slaktade jämlikar. Handlingen att ge återstående data eller data som uppstår som en biprodukt av processen är ‘infektionen’ som upprätthåller framtida generativa AI-modeller.  

Studien som undersökte detta problem hade titeln ‘Self-Consuming Generative Models Go MAD.’ Det som också är betydelsefullt med forskningen är att det är det första peer‑reviewade arbetet om AI‑autofagi som behandlar populära och välkända visuella AI-modeller som DALL‑E, Midjourney och Stable Diffusion. Även om teamet arbetade med Visual AI, påpekade professor Baraniuk att “samma galna ko‑korruptionsproblem uppstår med LLM:er”.

Nu när vi har granskat problemet och faktorerna som driver det, måste vi titta på dess påverkan och de sätt det kan påverka framtida utveckling av generativa AI-modeller. 

Brist på färsk data som leder till ohälsosam AI

Kärnproblemet som härrör från en påverkad eller infekterad LLM är en förnedrad AI-modell. Med brist på färsk verklig data blir resultaten förvrängda och saknar kvalitet och mångfald. 

För att förklara detta scenario på ett mer begripligt och visuellt sätt kan vi ta fallet med att generera mänskliga ansikten med AI. Med data som matas genom progressiva iterativa loopar uppstår möjligheten att alla ansikten blir likadana, mer och mer som samma person.

Allvaret i sådana skadliga möjligheter är allvarligt, för att säga det milt. Intensiteten kan mätas från en kommentar av Baraniuk, som säger:

“Vissa konsekvenser är tydliga: utan tillräckligt med färsk verklig data är framtida generativa modeller dömda till MADness.”

Finns det någon botemedel mot denna domedagsliknande situation som verkar hota AI‑utvecklingsvärlden? För närvarande har forskarna introducerat en sampling‑bias‑parameter som tar hänsyn till användarnas tendens att föredra datakvalitet framför mångfald. Denna tendens kallas ‘Cherry Picking’. Det positiva är att den hjälper till att bevara datakvaliteten över ett större antal modelliterationer. Nackdelen är dock en större minskning av mångfalden. 

Vi har redan sett vilken typ av påverkan AI kan ha på vår framtida värld. Med så mycket potential redo att släppas loss kan detta problem påverka många intressenter, särskilt nya och innovativa företag som har arbetat med det. 

Google är ett av de ledande företagen som driver LLM:er för en stor och mångsidig uppsättning intressenter. Bristen på mångfald i AI‑genererade flöden är något som Google kommer att behöva hantera framöver. Här tittar vi kort på Google AI:s kapacitet när det gäller att driva LLM:er. 

#1. Google AI

Inom AI-området finns två operativa grenar som hjälper Google att uppnå sina mål är Google DeepMind och Google Cloud. För att förklara samarbetet mer specifikt, tar Google Cloud innovationer som utvecklats och testats av Google DeepMind till sin företagsklara AI-plattform så att kunder kan börja använda dem för att bygga och leverera generativa AI-funktioner. Google Cloud erbjuder tre LLM-tjänster.

• Den första är Generative AI på Vertex AI, som låter användare få åtkomst till Googles stora generativa AI-modeller för att testa, finjustera och distribuera i deras AI‑drivna applikationer.
• Den andra är Vertex AI agent builder, som är avsett för företagsökning och chatbot‑applikationer. Den kommer med färdigbyggda arbetsflöden för vanliga uppgifter som onboarding, dataingest, anpassning, etc.
• Den sista är Contact Center AI, en intelligent kontaktcenterlösning som inkluderar Dialog Flow, Googles konversations‑AI‑plattform med både avsiktsbaserade och LLM‑funktioner.

Dock har Google också stött på sin beskärda del av problem med enbart användning av AI. I maj i år klargjorde Google‑VD Sundar Pichai att företaget hade fel när det genererade rasistiskt partiska bildresultat som svar på användarfrågor. 

Google var tvungen att pausa Geminis bildgenereringsfunktioner efter att sociala medie‑användare klagade på att deras lösning perpetuerade felaktiga bilder, inklusive framställning av färgade personer när nazister avbildades. 

I linje med mycket av den forskning vi citerade här erkände företaget att ett problem uppstod på grund av “begränsningar i träningsdata som användes för att utveckla Gemini.”.

För att förklara ytterligare var problemet ligger, hade Sundar Pichai följande att säga också:

“Det finns vissa gånger du svarar [på frågor som] ‘Vad är befolkningen i USA?’ Ja, det är en besvarbar fråga. [Men] det finns tillfällen då du vill visa ett brett spektrum av åsikter som finns på webben, vilket sök gör och gör det bra.”

Enligt Pichai säkerställer det arbete som Google har gjort genom åren att – ur ett sök‑perspektiv – företaget erbjuder pålitlig, högkvalitativ information. 

Finansiellt rapporterade Alphabet Inc. (GOOG ) (Googles moderbolag) intäkter på $307.4 billion år 2023, upp 9 % från $282.8 billion år 2022. Rörelseresultatet nådde $84.3 billion, en betydande ökning från $74.8 billion föregående år. Trots att rörelsekostnaderna ökade till $223.1 billion, var nettoresultatet $73.8 billion, jämfört med $60 billion år 2022.

#2. Cohere

En annan aktör som har gjort ett bra arbete inom detta område är det Toronto‑baserade företaget Cohere. Ett av deras initiativ som förtjänar särskild uppmärksamhet är ‘Cohere for AI‘, ett ideellt forskningslab som syftar till att lösa komplexa maskininlärningsproblem. Till skillnad från en traditionell forskargrupp arbetar Cohere for AI som ett hybridlab med både dedikerad forskningspersonal och stöd för öppna vetenskapsinitiativ. Företaget samarbetar öppet med oberoende forskare över hela världen för att bedriva förstklassig ML‑forskning. 

Cohere:s öppna vetenskapsforskningsgemenskap är ett tvärvetenskapligt utrymme som omfattar forskare, ingenjörer, lingvister, samhällsvetare och livslånga lärande. Gemenskapen blomstrar med bidragsgivare från mer än hundra länder världen över. 

Några av Cohere:s modeller inkluderar Aya 23 – 8B och Aya 23 – 35B, toppmoderna tillgängliga forsknings‑LLM:er, C4AI Command R – 104B och C4AI Command R – 35B, modellvikter för att demokratisera forskningsåtkomst, samt Aya, den massivt flerspråkiga forsknings‑LLM:n. 

Nyligen annonserade Cohere och Fujitsu ett strategiskt partnerskap för att utveckla och tillhandahålla företags‑AI‑tjänster med branschledande japanska språkfunktioner. Enligt samarbetets villkor kommer företagen att bygga kraftfulla företagsklassade stora språkmodeller (LLM) för att tillgodose globala företags behov.

I mars i år meddelade Cohere att de sökte en värdering på $5 billion i sin senaste kapitalanskaffning. De ville samla in cirka $250 million genom denna finansieringsrunda, enligt en källa med insikt i ärendet.

Avslutande tankar

LLM:er och de generativa AI-modeller de driver är framväxande och utvecklas snabbt. Detta område involverar banbrytande teknik som är enormt ambitiös och intensivt aspirerande. Man kan därför rimligt förvänta sig ett betydande forskningsinflöde i detta område under de kommande åren. 

Forskningsorganisationer, stora teknikföretag, utbildningsinstitutioner – alla möjliga intressenter är angelägna om att intensifiera sina resurstilldelningar i detta område. En sådan aktivitetssväng skulle innebära fler nackdelar som kommer i förgrunden. Men det skulle också innebära kurskorrigering, tänkande utanför ramarna och omarbetning av befintliga lösningar på det mest optimerade sättet.

Klicka här för att lära dig allt om att investera i artificiell intelligens.