Feedback‑loops kan få LLM’er til at opleve et ‘modelkollaps’ svarende til galckøsygdom

Et mærkeligt problem er dukket op i verden af generativ kunstig intelligens. Problemet er så kraftfuldt og komplekst, at det kan bringe omfanget af generativ AI i fare. Før vi dykker dybere ned i forståelsen af dette problem, lad os tage et hurtigt kig på, hvorfor en forhindring, der forventes på AI’s stigende kurve, anses for at være så betydningsfuld. 

Hvordan AI formodes at gøre verden mere effektiv

Over de seneste par år har de fordelene som generativ AI har tilbudt verden øget sin adoption betydeligt. 92 % af Fortune 500-virksomheder har adopteret generativ AI, mens 70 % af GenZ har prøvet disse værktøjer.

Generativ AI’s udbredelse er så omfattende, at næsten 90 % af amerikanske job kunne blive påvirket af den, og 95 % af kundekontakter kan involvere den inden 2025. Selvom det nuværende marked er værd næsten US$45 milliarder, kan AI kun blive større og generere op til 97 millioner job inden næste år. 

Det faciliterende potentiale af AI har været uovertruffet, for at sige det mildt. Over to millioner softwareudviklere bygger på OpenAI’s API, og de fleste af disse udviklere er fra Fortune 500-virksomheder, som kunne have haft adgang til de bedste ressourcer til deres arbejde. Alligevel valgte de at udvikle på API’en.

Denne positive holdning til generativ AI’s potentiale afspejles også i en undersøgelse udført af Deloitte, som sagde, at 94 % af erhvervsledere mente, at AI var nøglen til fremtidig succes.

Ud fra alle disse data og fakta er det tydeligt, at mange mennesker verden over ser frem til generativ AI for fremtidig vækst. Imidlertid er der opstået et problem, der kan udfordre AI’s vækstpotentiale: Feedback-loops. I de følgende afsnit vil vi udforske dette problem i større detaljer, undersøge alle dets mulige konsekvenser og implikationer.

Hvad er feedback-loops

I deres mest grundlæggende form er feedback-loops hverken dårlige eller skadelige. Det er processen med at udnytte output fra et AI-system og de tilsvarende handlinger fra slutbrugeren til at gen‑træne og forbedre modeller over tid.

På grund af deres natur kaldes de lukkede kredsløb, og processen er kendt som lukkede‑kredsløbs‑læring. Her foregår en konstant sammenligning mellem AI-genereret output og den endelige beslutning for at give feedback til modellen, så den kan lære af sine fejl.

Problemet med sådan feedback‑loop‑læring opstår, når syntetiske data sættes i spil. Træning af generative AI-modeller kræver enorme mængder data, som er begrænsede i udbud og så knappe, at disse modeller kan udtømme deres træningsressourcer fuldstændigt.

Derfor er de store teknologivirksomheder ivrige efter at udnytte syntetiske data til at træne fremtidige generationer af AI-modeller. Dog har syntetiske data både fordele og ulemper.

Fordelene og ulemperne ved syntetiske data

Syntetiske eller AI‑syntetiserede data har mange fordele. For eksempel er de billigere end data fra den virkelige verden, og – vigtigere – tilgængeligheden af sådanne data er ubegrænset.

Da dataene er syntetiseret, kommer de ikke fra en virkelig person og udgør meget få privatlivsrisici. Omvendt kan ægte data, især dem der bruges inden for medicinsk teknologi og sundhedspleje, risikere brud på privatlivets fred. Derudover er der tilfælde, hvor brugen af syntetiske data har hjulpet med at forbedre AI‑præstationen.

På den anden side kan AI-modeller, der får for meget syntetisk data, blive begrænsede i deres funktioner og potentiale, hvilket kan have negative konsekvenser for fremtidige iterationer af generative AI-modeller. Forventningen om denne risiko er ikke grundløs, som et nyligt arbejde udført af den Digital Signal Processing-gruppe ved Rice University bekræfter.

Ifølge Richard Baraniuk, Rice’s C. Sidney Burrus Professor i Elektroteknik og Datalogi:

“Problemerne opstår, når denne syntetiske datatræning uundgåeligt gentages, og danner en form for feedback‑loop ⎯ hvad vi kalder en autophagisk eller ‘selv‑spisende’ loop.”

Udfordringen ved syntetisk data‑inducerede feedback‑loops

Nu, for at forstå problemets fulde natur, skal vi se på casen med feedback‑loops og syntetiske data sammen. Professor Baraniuk har passende opsummeret problemet ved at sige følgende,  “Vores gruppe har arbejdet indgående med sådanne feedback‑loops, og den dårlige nyhed er, at selv efter et par generationer af sådan træning kan de nye modeller blive irreparabelt korrupte. Dette er blevet kaldt ‘modelkollaps’ af nogle ⎯ , mest for nylig af kolleger på området i forbindelse med store sprogmodeller (LLM’er). Vi finder dog betegnelsen ‘Model Autophagy Disorder’ (MAD) mere passende, ved analogi til galckøsygdom.”

For at forklare relevansen af denne sammenligning er galckøsygdom en dødelig neurodegenerativ sygdom, der påvirker køer og har en menneskelig pendant forårsaget af indtagelse af inficeret kød. Det sammenlignes med den feedback‑loop‑udfordring, som generative AI-modeller står over for, fordi sygdommen spreder sig gennem praksissen med at fodre køer de forarbejdede rester fra deres slagtede artsfæller. Handlingen med at fodre resterende data eller data, der kommer ud af processen selv som et biprodukt, er ‘infektionen’, der vedligeholder de fremtidige generative AI-modeller.  

Undersøgelsen, der så på dette problem, havde titlen ‘Selv‑spisende generative modeller går MAD.’ Det, der også er betydningsfuldt ved forskningen, er at den er det første fagfællebedømte arbejde om AI‑autofagi, der beskæftiger sig med populære og velkendte visuelle AI-modeller som DALL‑E, Midjourney og Stable Diffusion. Selvom teamet arbejdede med Visual AI, påpegede professor Baraniuk, “de samme galckø‑korruptionsproblemer forekommer med LLM’er.”

Nu hvor vi har set på problemet og de faktorer, der driver det, skal vi se på dets indvirkning og de måder, det kan påvirke den fremtidige udvikling af generative AI-modeller.

Mangel på frisk data, der fører til usund AI

Kerneproblemet, der udspringer af en påvirket eller inficeret LLM, er en fattig AI-model. Med mangler i frisk ægte data bliver outputtet forvrænget og mangler kvalitet og diversitet.

For at forklare dette scenarie på en mere forståelig og visuel måde kan vi tage eksemplet med at generere menneskelige ansigter med AI. Når data fodres gennem progressive iterative loops, opstår muligheden for, at alle ansigter bliver ens, mere og mere som den samme person.

Alvoret af sådanne skadelige muligheder er alvorligt, for at sige det mildt. Alvoret kan måles ud fra en kommentar fra Baraniuk, som siger:

“Nogle konsekvenser er klare: uden tilstrækkeligt frisk ægte data er fremtidige generative modeller dømt til MADness.”

Findes der nogen kur mod denne dommedagslignende situation, der synes at hænge tungt over AI-udviklingsverdenen? For øjeblikket har forskerne introduceret en sampling‑bias‑parameter, der tager højde for brugernes tendens til at foretrække datakvalitet frem for diversitet. Denne tendens kaldes ‘Cherry Picking’. Det positive ved den er, at den hjælper med at bevare datakvaliteten over et større antal modeliterationer. Ulempen er imidlertid et større fald i diversiteten.

Vi har allerede set den slags påvirkning, AI kan have på vores fremtidige verden. Med så meget potentiale klar til at blive frigjort, kan dette problem påvirke mange interessenter, især nye og innovative virksomheder, der har arbejdet med det.

Google er en af de førende virksomheder, der driver LLM’er for et stort og forskelligt sæt af interessenter. Manglen på diversitet i AI‑genererede feeds er noget, Google vil skulle håndtere i de kommende dage. Her ser vi kort på Google AI’s kapaciteter med hensyn til at drive LLM’er.

#1. Google AI

Inden for AI er to operationelle afdelinger, der hjælper Google med at nå sine mål Google DeepMind og Google Cloud. For at forklare samarbejdet mere specifikt bringer Google Cloud innovationer udviklet og testet af Google DeepMind til sin virksomheds‑klare AI‑platform, så kunder kan begynde at bruge dem til at bygge og levere generative AI‑kapaciteter. Google Cloud tilbyder tre LLM‑tjenester.

• Den første er Generative AI på Vertex AI, som giver brugerne adgang til Googles store generative AI-modeller til at teste, finjustere og implementere i deres AI-drevne applikationer.
• Den anden er Vertex AI agent builder, som er beregnet til enterprise‑søgning og chatbot‑applikationer. Den leveres med forudbyggede arbejdsgange til almindelige opgaver som onboarding, data‑indtag, tilpasning osv.
• Den sidste er Contact Center AI, en intelligent kontaktcenter‑løsning, der inkluderer Dialog Flow, Googles konverserende AI‑platform med både intention‑baserede og LLM‑funktioner.

Google har dog også måttet gennemgå sin andel af problemer med en retfærdig anvendelse af AI. I maj i år gjorde Googles administrerende direktør Sundar Pichai det til et punkt at præcisere, at virksomheden havde fejlet, da den genererede racemæssigt forudindtagede billedresultater som svar på brugerforespørgsler.

Google måtte sætte Gemini’s billedgenererende funktioner på pause efter at brugere på sociale medier klagede over, at deres løsning fastholdt forkerte billeder, herunder fremstilling af farvede mennesker, når nazister blev afbildet. 

I overensstemmelse med meget af den forskning, vi har citeret her, erkendte virksomheden, at et problem opstod på grund af “begrænsninger i træningsdataene, der blev brugt til at udvikle Gemini.”

For at uddybe yderligere, hvor problemet ligger, havde Sundar Pichai også følgende at sige:

“Der er visse gange, du svarer [på spørgsmål som] ‘Hvad er befolkningstallet i USA?’ Ja, det er et besvarbart spørgsmål. [Men] der er tider, hvor du vil fremvise et bredt udvalg af meninger på nettet, hvilket søgning gør, og gør det godt.”

Ifølge Pichai sikrer det arbejde, Google har udført gennem årene, at – fra et søgeperspektiv – virksomheden leverer pålidelig, høj‑kvalitets information.

Finansielt rapporterede Alphabet Inc. (GOOG ) (Googles moderselskab) en omsætning på $307.4 milliarder i 2023, op 9 % fra $282.8 milliarder i 2022. Driftsresultatet nåede $84.3 milliarder, en betydelig stigning fra $74.8 milliarder året før. På trods af at driftsomkostningerne steg til $223.1 milliarder, var nettoresultatet $73.8 milliarder, sammenlignet med $60 milliarder i 2022.

#2. Cohere

En anden enhed, der har gjort fremragende arbejde inden for dette område, er den Toronto‑baserede Cohere. Et af deres initiativer, der fortjener særlig omtale, er ‘Cohere for AI‘, et non‑profit forskningslaboratorium, der søger at løse komplekse maskinlæringsproblemer. I modsætning til en traditionel forskningsgruppe fungerer Cohere for AI som et hybridlaboratorium med både dedikeret forskningspersonale og støtte til open‑science‑initiativer. Virksomheden samarbejder åbent med uafhængige forskere over hele verden for at udføre førsteklasses ML‑forskning.

Cohere’s open science‑forskningsfællesskab er et tværfagligt rum, der omfatter forskere, ingeniører, lingvister, samfundsvidenskabsfolk og livslange lærende. Rummet trives med bidragydere fra mere end hundrede lande verden over.

Nogle af Cohere’s modeller inkluderer Aya 23 – 8B og Aya 23 – 35B, topmoderne tilgængelige forsknings‑LLM’er, C4AI Command R – 104B og C4AI Command R – 35B, model‑weights for at demokratisere forskningsadgang, samt Aya, den massivt flersprogede forsknings‑LLM.

For nylig annoncerede Cohere og Fujitsu et strategisk partnerskab for at udvikle og levere enterprise‑AI‑tjenester med brancheførende japanske sprogkapaciteter. I henhold til samarbejdets vilkår vil virksomhederne bygge kraftfulde enterprise‑grade store sprogmodeller (LLM’er) for at imødekomme globale virksomheders behov.

I marts i år annoncerede Cohere, at de søgte en værdiansættelse på $5 milliarder i deres seneste kapitalrejsningsindsats. De ønskede at rejse cirka $250 millioner gennem denne finansieringsrunde, ifølge en kilde med kendskab til sagen.

Afsluttende tanker

LLM’er og de generative AI-modeller, de driver, er i hastig fremkomst og udvikling. Dette område involverer banebrydende teknologi, der er enormt ambitiøs og intenst aspirerende. Man kan derfor med rette forvente en betydelig forskningsindsprøjtning i dette område i de kommende år. 

Forskningsorganisationer, store tech‑virksomheder, uddannelsesinstitutioner — alle mulige interessenter er ivrige efter at intensivere deres ressourceallokering i dette område. En sådan strøm af aktiviteter vil betyde flere ulemper, der træder frem. Men det vil også betyde kurskorrektion, tænke uden for boksen og genopfinde eksisterende løsninger på den mest optimerede måde.

Klik her for at lære alt om investering i kunstig intelligens.