Tilbakemeldingssløyfer kan føre til at LLM-er opplever en ‘Modellkollaps’ lik kugalskap

Et merkelig problem har dukket opp i verden av generativ kunstig intelligens. Problemet er så kraftig og komplekst at det kan sette omfanget av generativ AI i fare. Før vi dykker dypere inn i å forstå dette problemet, la oss ta en rask titt på hvorfor et hinder som ble forutsagt på den stigende kurven av AI anses for å være så betydningsfullt. 

Hvordan AI skal gjøre verden mer effektiv

I løpet av de siste årene har fordelene som generativ AI har gitt verden økt adopsjonen betydelig. 92 % av Fortune 500‑selskaper har tatt i bruk generativ AI, mens 70 % av GenZ har prøvd disse verktøyene.

Generativ AI sin dekning er så omfattende at nesten 90 % av amerikanske jobber kan bli påvirket av den, og 95 % av kundekontakter kan involvere den innen 2025. Mens det nåværende markedet er verdt nesten 45 milliarder USD, kan AI bare bli større og generere så mange som 97 millioner jobber innen neste år. 

Den muliggjørende potensialet til AI har vært uten sidestykke, for å si det mildt. Over to millioner programvareutviklere bygger på OpenAI sin API, og de fleste av disse utviklerne kommer fra Fortune‑500‑selskaper som kunne ha benyttet seg av de beste ressursene tilgjengelige for deres arbeid. Likevel valgte de å utvikle på API.

Denne positive holdningen til potensialet i generativ AI gjenspeiles også i en undersøkelse utført av Deloitte, som viste at 94 % av bedriftsledere mente at AI var nøkkelen til fremtidig suksess.

Ut fra alle disse dataene og fakta er det tydelig at mange mennesker over hele verden ser frem til generativ AI for fremtidig vekst. Imidlertid har et problem oppstått som kan utfordre AI sin vekstpotensial: Tilbakemeldingssløyfer. I de følgende segmentene vil vi utforske dette problemet i større detalj, og undersøke alle mulige konsekvenser og implikasjoner.

Hva er tilbakemeldingssløyfer

I sin enkleste form er tilbakemeldingssløyfer verken dårlige eller skadelige. Det er prosessen med å utnytte output fra et AI-system og tilsvarende sluttbrukerhandlinger for å retrene og forbedre modeller over tid. 

På grunn av sin natur kalles de lukkede sløyfer, og prosessen er kjent som lukkende læring. Her skjer en kontinuerlig sammenligning mellom AI-generert output og den endelige beslutningen for å gi tilbakemelding til modellen, slik at den kan lære av sine feil. 

Imidlertid oppstår et problem med slik tilbakemeldingslæringsprosess når syntetisk data settes i handling. Trening av generative AI-modeller krever enorme mengder data, som er begrenset i tilgjengelighet og så knappe at disse modellene kan tømme sine treningsressurser helt. 

Derfor er store teknologiselskaper ivrige etter å utnytte syntetisk data for å trene fremtidige generasjoner av AI-modeller. Imidlertid har syntetisk data sine fordeler og ulemper. 

Fordelene og ulempene med syntetisk data

Syntetisk eller AI‑syntetisert data har mange fordeler. For eksempel er den billigere enn virkelige data, og – enda viktigere – tilgangen på slik data er ubegrenset.

Siden dataene er syntetisert, kommer de ikke fra en virkelig person og medfører svært få personvernrisikoer. Reelle data, spesielt de som brukes innen med‑tech og helsevesen, risikerer personvernbrudd. Dessuten finnes det tilfeller hvor bruk av syntetisk data har bidratt til å forbedre AI‑ytelsen. 

På den annen side kan AI-modeller som får for mye syntetisk data bli begrenset i sine funksjoner og potensial, noe som kan ha negative konsekvenser for fremtidige iterasjoner av generative AI-modeller. Forventningen om denne risikoen er ikke grunnløs, som et nylig arbeid utført av Digital Signal Processing-gruppen ved Rice University går videre med å validere. 

Ifølge Richard Baraniuk, Rice sin C. Sidney Burrus professor i elektroteknikk og datateknikk:

“Problemene oppstår når denne syntetiske datatreningen, uunngåelig, gjentas, og danner en slags tilbakemeldingssløyfe – det vi kaller en autofagisk eller ‘selv‑forbrukende’ sløyfe.”

Utfordringen med syntetisk data‑induserte tilbakemeldingssløyfer

Now, to understand the full nature of the problem, we must look into the case of feedback loops and synthetic data together. Professor Baraniuk has aptly summarized the problem by saying the following,  “Our group has worked extensively on such feedback loops, and the bad news is that even after a few generations of such training, the new models can become irreparably corrupted. This has been termed ‘model collapse’ by some ⎯ , most recently by colleagues in the field in the context of large language models (LLMs). We, however, find the term’ Model Autophagy Disorder’ (MAD) more apt, by analogy to mad cow disease.”

To explain the relevance of this comparison, Mad cow disease is a fatal neurodegenerative illness that affects cows and has a human equivalent caused by consuming infected meat. It is compared with the feedback loop challenge that generative AI models face because the disease proliferates through the practice of feeding cows the processed leftovers of their slaughtered peers. The act of feeding leftover data or data that comes out of the process itself as a byproduct is the ‘infection’ that perpetuates the generative AI models of the future.  

The study that looked into this issue was titled ‘Self-Consuming Generative Models Go MAD.’ What is also significant about the research is that it is the first peer-reviewed work on AI autophagy that deals with popular and well-known visual AI models like DALL-E, Midjourney, and Stable Diffusion. Although the team worked with Visual AI, as Professor Baraniuk pointed out, “the same mad cow corruption issues occur with LLMs.”

Now that we’ve looked into the issue and factors that drive it, we must look into its impact and the ways it might affect the future development of generative AI models. 

Mangel på ferske data som fører til usunn AI

Kjernproblemet som stammer fra en påvirket eller infisert LLM er en fattig AI-modell. Med mangler i ferske reelle data blir outputen forvrengt og mangler kvalitet og mangfold. 

To explain this scenario in a more understandable and visual fashion, we may take the case of generating human faces with AI. With data fed through progressive iterative loops, the possibility of all faces becoming the same, more and more like the same person emerges. 

The intensity of such damaging possibilities is severe, to say the least. The intensity can be gauged from a comment by Baraniuk, who says:

“Some ramifications are clear: without enough fresh real data, future generative models are doomed to MADness.”

Is there any cure to this doomsday kind of situation that seems to be looming large in the AI development world? For the time being, the researchers have introduced a sampling bias parameter that accounts for the tendency of users to favor data quality over diversity. This tendency is called ‘Cherry Picking.’ The one good thing about it is that it helps preserve data quality over a greater number of model iterations. However, the tradeoff is in the form of a greater decline in diversity. 

We have already seen the kind of impact AI could have on our future world. With so much potential ready to be unleashed, this issue might affect a whole lot of stakeholders, especially new and innovative businesses that have been working on it. 

Google is one of the forerunning companies to power LLMs for a large and diverse set of stakeholders. And the lack of diversity in AI-generated feeds is something that Google would have to deal with in the days to come. Here, we briefly look into Google AI’s capabilities as far as powering LLMs is concerned. 

#1. Google AI

In the field of AI, two operational wings that help Google accomplish its goals are Google DeepMind and Google Cloud. To explain the collaboration more specifically, Google Cloud brings innovations developed and tested by Google DeepMind to its enterprise-ready AI platform so that customers can start using them to build and deliver generative AI capabilities. Google Cloud offers three LLM services.

• Den første er Generative AI på Vertex AI, som lar brukere få tilgang til Googles store generative AI-modeller for å teste, justere og distribuere i deres AI-drevne applikasjoner.
• Den andre er Vertex AI agent builder, som er ment for bedriftsøkning og chatbot‑applikasjoner. Den kommer med forhåndsbygde arbeidsflyter for vanlige oppgaver som onboarding, data‑innsamling, tilpasning osv.
• Den siste er Contact Center AI, en intelligent kontaktsenterløsning som inkluderer Dialog Flow, Googles konversasjons‑AI‑plattform med både intensjonsbaserte og LLM‑funksjoner.

Imidlertid måtte Google også gjennomgå sin andel av problemer med en rettferdig bruk av AI. I mai i år gjorde Google‑administrerende direktør Sundar Pichai det klart at selskapet hadde gjort feil da det genererte rasistisk partisk bildemateriale som svar på brukerforespørsler. 

Google måtte pause Gemini sine bilde‑genererende funksjoner etter at brukere på sosiale medier klagde på at løsningen deres perpetuerte feil bilder, inkludert fremstilling av fargede personer når de avbildet nazister. 

I tråd med mye av forskningen vi har sitert her, innrømmet selskapet at et problem oppsto fra «begrensninger i treningsdataene som ble brukt til å utvikle Gemini».

For å utdype ytterligere hvor problemet ligger, hadde Sundar Pichai også følgende å si:

“Det finnes tider du svarer på spørsmål som ‘Hva er befolkningen i USA?’ Ja, det er et svarbart spørsmål. Men det finnes tider du vil vise et bredt spekter av meninger som finnes på nettet, noe søk gjør, og gjør det bra.”

Ifølge Pichai sikrer arbeidet Google har gjort gjennom årene – fra et søkeperspektiv – at selskapet tilbyr pålitelig, høy‑kvalitetsinformasjon. 

Finansielt rapporterte Alphabet Inc. (GOOG ) (Googles morselskap) inntekter på 307,4 milliarder USD i 2023, opp 9 % fra 282,8 milliarder USD i 2022. Driftsresultatet nådde 84,3 milliarder USD, en betydelig økning fra 74,8 milliarder året før. Til tross for at driftskostnadene økte til 223,1 milliarder USD, var nettoresultatet 73,8 milliarder USD, sammenlignet med 60 milliarder USD i 2022.

#2. Cohere

En annen aktør som har gjort flott arbeid innen dette feltet er den toronto‑baserte Cohere. En av deres initiativer som fortjener spesiell omtale er ‘Cohere for AI’, et ideelt forskningslaboratorium som søker å løse komplekse maskinlæringsproblemer. I motsetning til en tradisjonell forskningsgruppe fungerer Cohere for AI som et hybrid‑laboratorium med både dedikert forskningspersonell og støtte for åpne vitenskapsinitiativer. Selskapet samarbeider åpent med uavhengige forskere over hele verden for å gjennomføre forskning av toppklasse innen maskinlæring. 

Cohere sitt åpne vitenskapsforskningsfellesskap er et tverrfaglig rom som omfatter forskere, ingeniører, lingvister, samfunnsvitere og livslange lærere. Fellesskapet blomstrer med bidragsytere fra mer enn hundre land i verden. 

Noen av Cohere sine modeller inkluderer Aya 23 – 8B og Aya 23 – 35B, toppmoderne tilgjengelige forsknings‑LLMer, C4AI Command R – 104B og C4AI Command R – 35B, modellvekter for å demokratisere forskningsadgang, og Aya, den massivt flerspråklige forsknings‑LLM. 

Nylig kunngjorde Cohere og Fujitsu et strategisk partnerskap for å utvikle og tilby bedrifts‑AI‑tjenester med bransjeledende japanske språkfunksjoner. I henhold til vilkårene for samarbeidet vil selskapene bygge kraftige bedrifts‑klassede store språkmodeller (LLM‑er) for å betjene behovene til globale virksomheter.

I mars i år kunngjorde Cohere at de søkte en verdivurdering på 5 milliarder USD i sin siste kapitalinnhenting. De ønsket å hente omtrent 250 millioner USD gjennom denne finansieringsrunden, ifølge en kilde med kjennskap til saken.

Avsluttende tanker

LLM‑er og de generative AI-modellene de driver, er i rask utvikling og fremvekst. Dette området involverer banebrytende teknologi som er enormt ambisiøs og intenst aspirerende. Man kan derfor med rette forvente en betydelig forskningsinnstrømning i dette feltet i årene som kommer. 

Forskningsorganisasjoner, store teknologiselskaper, utdanningsinstitusjoner – alle mulige interessenter er ivrige etter å intensivere sin ressursallokering i dette området. En slik strøm av aktiviteter vil bety flere ulemper som kommer frem i lyset. Men det vil også bety kurskorrigering, tenkning utenfor boksen, og omtenkning av eksisterende løsninger på den mest optimaliserte måten.

Klikk her for å lære alt om investering i kunstig intelligens.