Feedback‑Schleifen können dazu führen, dass LLMs einen ‘Modellkollaps’ erleiden, ähnlich der Rinderwahnsinnskrankheit

Ein merkwürdiges Problem ist in der Welt der generativen künstlichen Intelligenz aufgetaucht. Das Problem ist so stark und komplex, dass es das Potenzial der generativen KI gefährden könnte. Bevor wir tiefer in das Verständnis dieses Problems eintauchen, werfen wir einen kurzen Blick darauf, warum ein auf dem aufsteigenden KI‑Kurvenweg erwartetes Hindernisals so bedeutend angesehen wird. 

Wie KI die Welt effizienter machen soll

In den letzten Jahren hat Vorteile, die generative KI der Welt geboten hat die Welt ihre Nutzung erheblich gesteigert. 92 % der Fortune‑500-Unternehmen haben generative KI übernommen, während 70 % der GenZ diese Werkzeuge ausprobiert haben

Die Reichweite von generativer KI ist so groß, dass fast 90 % der amerikanischen Arbeitsplätze betroffen sein könnten und bis 2025 könnten 95 % der Kundeninteraktionen sie einbeziehen. Während der aktuelle Markt fast 45 Mrd. US‑$ wert ist, könnte KI nur noch größer werden und bis zum nächsten Jahr bis zu 97 Millionen Arbeitsplätze schaffen. 

Das ermöglichende Potenzial der KI ist unvergleichlich, gelinde gesagt. Über zwei Millionen Softwareentwickler bauen auf der OpenAI-API, und die meisten dieser Entwickler kommen aus Fortune‑500-Unternehmen, die sich die besten verfügbaren Ressourcen hätten sichern können. Dennoch haben sie sich entschieden, auf der API zu entwickeln.

Diese positive Einstellung zum Potenzial generativer KI spiegelt sich auch in einer von Deloitte durchgeführten Umfrage wider, in der 94 % der Geschäftsführungskräfte glaubten, dass KI ein Schlüssel zum zukünftigen Erfolg sei.

Aus all diesen Daten und Fakten wird deutlich, dass viele Menschen weltweit generative KI für zukünftiges Wachstum erwarten. Allerdings ist ein Problem aufgetreten, das das Wachstumspotenzial der KI in Frage stellen könnte: Feedback‑Schleifen. In den folgenden Abschnitten werden wir dieses Problem genauer untersuchen und alle möglichen Auswirkungen und Implikationen beleuchten.

Was sind Feedback‑Schleifen

In ihrer grundlegendsten Form sind Feedback‑Schleifen weder schlecht noch schädlich. Es ist der Prozess, bei dem die Ausgabe eines KI‑Systems und die entsprechenden Endnutzeraktionen genutzt werden, um Modelle im Laufe der Zeit neu zu trainieren und zu verbessern. 

Aufgrund ihrer Natur werden sie als geschlossene Schleife bezeichnet, und der Prozess ist als Closed‑Loop‑Learning bekannt. Hier findet ein kontinuierlicher Vergleich zwischen der KI‑generierten Ausgabe und der endgültigen Entscheidung statt, um dem Modell Feedback zu geben, sodass es aus seinen Fehlern lernen kann. 

Ein Problem bei diesem Feedback‑Loop‑Lernen entsteht jedoch, wenn synthetische Daten eingesetzt werden. Das Training generativer KI‑Modelle erfordert enorme Datenmengen, die nur begrenzt verfügbar sind und so knapp, dass diese Modelle ihre Trainingsressourcen vollständig erschöpfen. 

Deshalb sind große Technologieunternehmen bestrebt, synthetische Daten zu nutzen, um zukünftige Generationen von KI‑Modellen zu trainieren. Synthetische Daten haben jedoch sowohl Vorteile als auch Nachteile. 

Die Vor- und Nachteile synthetischer Daten

Synthetische oder KI‑generierte Daten haben viele Vorteile. Zum Beispiel sind sie günstiger als reale Daten und – noch wichtiger – die Verfügbarkeit solcher Daten ist unbegrenzt.

Da die Daten synthetisiert sind, stammen sie nicht von einer realen Person und bergen nur sehr geringe Datenschutzrisiken. Im Gegensatz dazu können reale Daten, insbesondere solche, die in den Bereichen Med‑Tech und Gesundheitswesen verwendet werden, Datenschutzverletzungen ausgesetzt sein. Darüber hinaus gibt es Fälle, in denen der Einsatz synthetischer Daten die KI‑Leistung verbessert hat. 

Auf der anderen Seite können KI‑Modelle, die mit zu vielen synthetischen Daten gefüttert werden, in ihren Funktionen und Potenzialen eingeschränkt werden, was negative Auswirkungen auf zukünftige Iterationen generativer KI‑Modelle hat. Die Befürchtung dieses Risikos ist nicht unbegründet, wie eine aktuelle Arbeit der Digital Signal Processing Gruppe der Rice University weiter bestätigt. 

Laut Richard Baraniuk, C. Sidney Burrus Professor für Elektrotechnik und Informatik an der Rice University:

“Die Probleme entstehen, wenn dieses Training mit synthetischen Daten unvermeidlich wiederholt wird und eine Art Feedback‑Schleife bildet – was wir eine autophagische oder ‘selbstverzehrende’ Schleife nennen.”

Die Herausforderung von durch synthetische Daten induzierten Feedback‑Schleifen

Um die volle Natur des Problems zu verstehen, müssen wir den Fall von Feedback‑Schleifen und synthetischen Daten gemeinsam betrachten. Professor Baraniuk hat das Problem treffend zusammengefasst und sagte: „Unsere Gruppe hat intensiv an solchen Feedback‑Schleifen gearbeitet, und die schlechte Nachricht ist, dass selbst nach einigen Generationen dieses Trainings die neuen Modelle irreparabel beschädigt werden können. Dies wurde von einigen als ‚Modellkollaps‘ bezeichnet ⎯, zuletzt von Kollegen im Bereich der großen Sprachmodelle (LLMs). Wir hingegen finden den Begriff ‚Model Autophagy Disorder‘ (MAD) passender, analog zur Rinderwahnsinnskrankheit.“

Um die Relevanz dieses Vergleichs zu erklären, ist die Rinderwahnsinnskrankheit eine tödliche neurodegenerative Erkrankung, die Kühe betrifft und ein menschliches Äquivalent hat, das durch den Verzehr von infiziertem Fleisch verursacht wird. Sie wird verglichen mit der Herausforderung der Feedback‑Schleife, der generative KI‑Modelle gegenüberstehen, weil die Krankheit sich durch das Füttern von Kühen mit den verarbeiteten Resten ihrer geschlachteten Artgenossen ausbreitet. Das Füttern mit Restdaten oder Daten, die als Nebenprodukt des Prozesses entstehen, ist die ‘Infektion’, die die zukünftigen generativen KI‑Modelle perpetuiert.  

Die Studie, die dieses Problem untersuchte, trug den Titel ‘Self-Consuming Generative Models Go MAD‘. Was ebenfalls bedeutsam ist, dass es die erste peer‑reviewte Arbeit zur KI‑Autophagie ist, die sich mit populären und bekannten visuellen KI‑Modellen wie DALL‑E, Midjourney und Stable Diffusion befasst. Obwohl das Team mit Visual AI arbeitete, bemerkte Professor Baraniuk, dass „die gleichen Rinderwahnsinn‑Korruptionsprobleme bei LLMs auftreten.“

Nachdem wir das Problem und die treibenden Faktoren untersucht haben, müssen wir seine Auswirkungen und die möglichen Einflüsse auf die zukünftige Entwicklung generativer KI‑Modelle betrachten. 

Mangel an frischen Daten führt zu ungesunder KI

Das Kernproblem eines betroffenen oder infizierten LLM ist ein verarmtes KI‑Modell. Durch den Mangel an frischen realen Daten werden die Ausgaben verzerrt und es fehlt an Qualität und Vielfalt. 

Um dieses Szenario verständlicher und anschaulicher zu erklären, können wir das Beispiel der KI‑basierten Generierung menschlicher Gesichter heranziehen. Durch Daten, die über progressive iterative Schleifen eingespeist werden, entsteht die Möglichkeit, dass alle Gesichter immer ähnlicher werden und schließlich fast identisch sind. 

Die Schwere solcher schädlichen Möglichkeiten ist erheblich, gelinde gesagt. Die Intensität lässt sich an einem Kommentar von Baraniuk ablesen, der sagt:

“Einige Auswirkungen sind klar: Ohne genügend frische reale Daten sind zukünftige generative Modelle dem Wahnsinn (MADness) zum Opfer verurteilt.”

Gibt es ein Heilmittel für diese apokalyptische Situation, die in der KI‑Entwicklungswelt drohend erscheint? Vorläufig haben die Forscher einen Stichproben‑Bias‑Parameter eingeführt, der die Tendenz der Nutzer berücksichtigt, Datenqualität über Vielfalt zu stellen. Diese Tendenz wird ‘Cherry Picking’ genannt. Der Vorteil ist, dass sie die Datenqualität über mehr Modell‑Iterationen hinweg bewahrt. Der Nachteil ist jedoch ein stärkerer Rückgang der Vielfalt. 

Wir haben bereits die Art von Einfluss gesehen, die KI auf unsere zukünftige Welt haben könnte. Mit so viel Potenzial, das freigesetzt werden will, könnte dieses Problem viele Interessengruppen betreffen, insbesondere neue und innovative Unternehmen, die daran arbeiten. 

Google ist eines der führenden Unternehmen, das LLMs für ein breites und vielfältiges Spektrum von Interessengruppen bereitstellt. Der Mangel an Vielfalt in KI‑generierten Feeds ist etwas, womit Google in Zukunft konfrontiert sein wird. Hier werfen wir einen kurzen Blick auf die Fähigkeiten von Google AI im Hinblick auf das Betreiben von LLMs. 

#1. Google AI

Im Bereich KI gibt es zwei operative Zweige, die Google dabei unterstützt, seine Ziele zu erreichen: Google DeepMind und Google Cloud. Um die Zusammenarbeit genauer zu erklären, bringt Google Cloud Innovationen, die von Google DeepMind entwickelt und getestet wurden, auf seine unternehmensgerechte KI‑Plattform, sodass Kunden sie nutzen können, um generative KI‑Fähigkeiten zu bauen und bereitzustellen. Google Cloud bietet drei LLM‑Dienste an.

• Der erste ist Generative AI on Vertex AI, das Nutzern Zugriff auf Googles große generative KI‑Modelle ermöglicht, um sie zu testen, anzupassen und in ihren KI‑gestützten Anwendungen bereitzustellen.
• Der zweite ist Vertex AI Agent Builder, das für Unternehmenssuche und Chatbot‑Anwendungen gedacht ist. Es kommt mit vorgefertigten Workflows für übliche Aufgaben wie Onboarding, Datenaufnahme, Anpassung usw.
• Der letzte ist Contact Center AI, eine intelligente Contact‑Center‑Lösung, die Dialogflow, Googles konversationale KI‑Plattform mit sowohl intent‑basierten als auch LLM‑Funktionen, beinhaltet.

Allerdings hatte Google auch seine Schwierigkeiten bei der Nutzung von KI. Im Mai dieses Jahres stellte Google‑CEO Sundar Pichai klar, dass das Unternehmen einen Fehler gemacht hatte, als es rassistisch voreingenommene Bildresultate als Antwort auf Nutzeranfragen erzeugte. 

Google musste die Bildgenerierungsfunktionen von Gemini pausieren, nachdem Nutzer in sozialen Medien sich darüber beschwert hatten, dass die Lösung falsche Bilder erzeugte, darunter die Darstellung von Menschen mit Farbe, wenn Nazis dargestellt wurden. 

In Anlehnung an viele der hier zitierten Forschungen räumte das Unternehmen ein, dass das Problem aus „Einschränkungen der Trainingsdaten, die zur Entwicklung von Gemini verwendet wurden“ resultierte.

Um genauer zu erläutern, wo das Problem liegt, sagte Sundar Pichai ebenfalls:

“Es gibt bestimmte Zeiten, in denen Sie Fragen wie ‚Wie groß ist die Bevölkerung der Vereinigten Staaten?‘ beantworten – ja, das ist eine beantwortbare Frage. Aber es gibt Zeiten, in denen Sie eine Vielzahl von Meinungen im Web hervorheben wollen, was die Suche tut und das gut macht.”

Laut Pichai stellt die Arbeit, die Google über die Jahre geleistet hat, sicher, dass das Unternehmen aus Sicht der Suche vertrauenswürdige, hochwertige Informationen anbietet. 

#2. Cohere

Ein weiteres Unternehmen, das in diesem Bereich großartige Arbeit leistet, ist das in Toronto ansässige Cohere. Eine ihrer Initiativen, die besondere Erwähnung verdient, ist das ‘Cohere for AI‘, ein gemeinnütziges Forschungslabor, das komplexe Machine‑Learning‑Probleme lösen will. Im Gegensatz zu einer traditionellen Forschungsgruppe arbeitet Cohere for AI als hybrides Labor mit einem dedizierten Forschungsteam und Unterstützung für Open‑Science‑Initiativen. Das Unternehmen kooperiert offen mit unabhängigen Forschern weltweit, um erstklassige ML‑Forschung durchzuführen. 

Die Open‑Science‑Forschungsgemeinschaft von Cohere ist ein interdisziplinärer Raum, der Forscher, Ingenieure, Linguisten, Sozialwissenschaftler und lebenslange Lernende umfasst. Der Raum gedeiht dank Beiträgen aus über hundert Ländern weltweit. 

Einige von Cohere’s Modellen umfassen Aya 23‑8B und Aya 23‑35B, hochmoderne zugängliche Forschungs‑LLMs, C4AI Command R‑104B und C4AI Command R‑35B, Modellgewichte zur Demokratisierung des Forschungszugangs, sowie Aya, das massiv mehrsprachige Forschungs‑LLM. 

Kürzlich kündigten Cohere und Fujitsu eine strategische Partnerschaft zur Entwicklung und Bereitstellung von Unternehmens‑KI‑Dienstleistungen mit branchenführenden japanischen Sprachfähigkeiten an. Im Rahmen der Zusammenarbeit werden die Unternehmen leistungsstarke, unternehmensgerechte große Sprachmodelle (LLMs) bauen, um die Bedürfnisse globaler Unternehmen zu bedienen.

Im März dieses Jahres kündigte Cohere an, dass es in seiner neuesten Finanzierungsrunde eine Bewertung von 5 Mrd. US‑$ anstrebt. Laut einer mit der Sache vertrauten Quelle wollte das Unternehmen etwa 250 Mio. US‑$ in dieser Runde einwerben.

Abschließende Gedanken

LLMs und die generativen KI‑Modelle, die sie antreiben, entstehen und entwickeln sich rasant. Dieser Bereich umfasst Spitzentechnologie, die äußerst ambitioniert und stark aspirativ ist. Man kann daher zu Recht erwarten, dass in den kommenden Jahren ein signifikanter Forschungszuwachs in diesem Feld stattfinden wird. 

Forschungsorganisationen, Big‑Tech, Bildungseinrichtungen – jeder mögliche Interessenträger ist bestrebt, seine Ressourcenallokation in diesem Bereich zu intensivieren. Ein solches Aufgebot an Aktivitäten würde mehr Nachteile ans Licht bringen. Gleichzeitig würde es aber auch Kurskorrekturen, unkonventionelles Denken und die Neugestaltung bestehender Lösungen auf optimalste Weise ermöglichen.

Klicken Sie hier, um alles über Investitionen in künstliche Intelligenz zu erfahren.