I loop di feedback possono causare il collasso del modello nei LLM, simile alla malattia della mucca pazza

È emerso un curioso problema nel mondo dell’intelligenza artificiale generativa. Il problema è così potente e complesso da poter mettere a repentaglio l’ambito dell’IA generativa. Prima di approfondire la comprensione di questo problema, diamo un’occhiata rapida al motivo per cui un ostacolo previsto sulla curva ascendente dell’IA è considerato così significativo. 

Come l’IA dovrebbe rendere il mondo più efficiente

Negli ultimi anni, i benefici che l’IA generativa ha offerto al mondo hanno aumentato notevolmente la sua adozione. Il 92% delle aziende Fortune 500 ha adottato l’IA generativa, mentre il 70% della GenZ ha provato questi strumenti.

La copertura dell’IA generativa è così diffusa che quasi il 90% dei lavori americani potrebbe esserne influenzato, e il 95% delle interazioni con i clienti potrebbe coinvolgerla entro il 2025. Mentre il mercato attuale vale quasi 45 miliardi di dollari, l’IA potrà solo crescere e generare fino a 97 milioni di posti di lavoro entro l’anno prossimo. 

Il potenziale dell’IA è stato ineguagliabile, per non dire altro. Oltre due milioni di sviluppatori software stanno costruendo sull’API di OpenAI, e la maggior parte di questi sviluppatori proviene da aziende Fortune 500 che avrebbero potuto usufruire delle migliori risorse disponibili per il loro lavoro. Tuttavia, hanno scelto di sviluppare sull’API.

Questo sentimento positivo verso il potenziale dell’IA generativa è riflesso anche in un sondaggio condotto da Deloitte, che ha rilevato che il 94% dei dirigenti aziendali credeva che l’IA fosse una chiave per il successo futuro.

Da tutti questi dati e fatti, è evidente che molte persone in tutto il mondo attendono con entusiasmo l’IA generativa per la crescita futura. Tuttavia, è emerso un problema che potrebbe mettere in discussione il potenziale di crescita dell’IA: i loop di feedback. Nei segmenti seguenti, esploreremo questo problema più in dettaglio, esaminando tutte le sue possibili ramificazioni e implicazioni.

Cosa sono i loop di feedback

Nella loro forma più basilare, i loop di feedback non sono né cattivi né dannosi. È il processo di sfruttare l’output di un sistema IA e le azioni dell’utente finale corrispondenti per riaddestrare e migliorare i modelli nel tempo. 

A causa della loro natura, sono chiamati a ciclo chiuso, e il processo è noto come apprendimento a ciclo chiuso. Qui avviene un confronto costante tra l’output generato dall’IA e la decisione finale per fornire feedback al modello, consentendogli di apprendere dai propri errori. 

Tuttavia, un problema con questo apprendimento a loop di feedback si presenta quando i dati sintetici vengono messi in pratica. L’addestramento dei modelli di IA generativa richiede enormi quantità di dati, che sono limitati in offerta e scarsi al punto che questi modelli esauriscono completamente le loro risorse di addestramento. 

Ecco perché le grandi aziende tecnologiche sono desiderose di sfruttare i dati sintetici per addestrare le future generazioni di modelli IA. Tuttavia, i dati sintetici hanno la loro quota di vantaggi e svantaggi. 

Vantaggi e svantaggi dei dati sintetici

I dati sintetici o generati dall’IA hanno molti vantaggi. Ad esempio, sono più economici dei dati del mondo reale e—ancora più importante—la loro disponibilità è illimitata.

Poiché i dati sono sintetizzati, non provengono da un individuo reale e presentano pochissimi rischi per la privacy. Al contrario, i dati reali, soprattutto quelli usati nei settori med-tech e sanitario, corrono il rischio di violazioni della privacy. Inoltre, ci sono casi in cui l’uso di dati sintetici ha contribuito a migliorare le prestazioni dell’IA. 

Tuttavia, d’altro canto, i modelli IA alimentati con troppi dati sintetici possono diventare limitati nelle loro funzionalità e potenziale, causando impatti negativi sulle future iterazioni dei modelli di IA generativa. L’anticipazione di questo rischio non è infondata, come dimostra un recente lavoro svolto dal gruppo di Digital Signal Processing dell’Università di Rice che lo conferma. 

Secondo Richard Baraniuk, professore C. Sidney Burrus di Ingegneria Elettrica e Informatica presso Rice:

“I problemi sorgono quando questo addestramento con dati sintetici è, inevitabilmente, ripetuto, formando una sorta di loop di feedback — quello che chiamiamo un loop autofagico o ‘auto-consumante’.”

La sfida dei loop di feedback indotti da dati sintetici

Ora, per comprendere appieno la natura del problema, dobbiamo esaminare insieme il caso dei loop di feedback e dei dati sintetici. Il professor Baraniuk ha riassunto adeguatamente il problema affermando quanto segue: “Il nostro gruppo ha lavorato ampiamente su tali loop di feedback, e la cattiva notizia è che anche dopo poche generazioni di questo addestramento, i nuovi modelli possono diventare irreparabilmente corrotti. Questo è stato definito ‘collasso del modello’ da alcuni — più recentemente da colleghi del settore nel contesto dei grandi modelli linguistici (LLM). Tuttavia, troviamo il termine ‘Disturbo da Autofagia del Modello’ (MAD) più appropriato, per analogia alla malattia della mucca pazza.” 

Per spiegare la rilevanza di questo paragone, la malattia della mucca pazza è una malattia neurodegenerativa fatale che colpisce le mucche e ha un equivalente umano causato dal consumo di carne infetta. Viene paragonata alla sfida del loop di feedback che i modelli di IA generativa affrontano perché la malattia si diffonde attraverso la pratica di alimentare le mucche con gli avanzi processati dei loro simili macellati. L’atto di alimentare dati residui o dati che emergono dal processo stesso come sottoprodotto è l”infezione’ che perpetua i modelli di IA generativa del futuro.  

Lo studio che ha esaminato questo problema è stato intitolato ‘Self-Consuming Generative Models Go MAD‘. Ciò che è anche significativo della ricerca è che è il primo lavoro peer-reviewed sull’autofagia dell’IA che tratta modelli visivi di IA popolari e noti come DALL‑E, Midjourney e Stable Diffusion. Sebbene il team abbia lavorato con l’IA visiva, come ha sottolineato il professor Baraniuk, “gli stessi problemi di corruzione da mucca pazza si verificano con gli LLM”.

Ora che abbiamo esaminato il problema e i fattori che lo alimentano, dobbiamo considerare il suo impatto e i modi in cui potrebbe influenzare lo sviluppo futuro dei modelli di IA generativa. 

Mancanza di dati freschi che porta a un’IA malsana

Il problema centrale derivante da un LLM affetto o infetto è un modello IA impoverito. Con carenze di dati reali freschi, gli output diventano distorti e mancano di qualità e diversità. 

Per spiegare questo scenario in modo più comprensibile e visivo, possiamo prendere il caso della generazione di volti umani con l’IA. Con i dati alimentati attraverso loop iterativi progressivi, emerge la possibilità che tutti i volti diventino uguali, sempre più simili alla stessa persona. 

L’intensità di tali possibilità dannose è severa, per non dire altro. L’intensità può essere valutata da un commento di Baraniuk, che afferma:

“Alcune ramificazioni sono chiare: senza abbastanza dati reali freschi, i futuri modelli generativi sono destinati alla follia (MADness).”

Esiste qualche cura per questa situazione apocalittica che sembra incombere sul mondo dello sviluppo dell’IA? Per il momento, i ricercatori hanno introdotto un parametro di bias di campionamento che tiene conto della tendenza degli utenti a privilegiare la qualità dei dati rispetto alla diversità. Questa tendenza è chiamata ‘Cherry Picking.’ Il lato positivo è che aiuta a preservare la qualità dei dati su un maggior numero di iterazioni del modello. Tuttavia, il compromesso si traduce in un maggiore calo della diversità. 

Abbiamo già visto il tipo di impatto che l’IA potrebbe avere sul nostro futuro. Con così tanto potenziale pronto a essere liberato, questo problema potrebbe colpire molti stakeholder, soprattutto le nuove e innovative imprese che vi stanno lavorando. 

Google è una delle aziende all’avanguardia nel potenziare i LLM per un ampio e diversificato insieme di stakeholder. E la mancanza di diversità nei feed generati dall’IA è qualcosa che Google dovrà affrontare nei prossimi giorni. Qui, diamo uno sguardo rapido alle capacità di Google AI per quanto riguarda il potenziamento dei LLM. 

#1. Google AI

Nel campo dell’IA, due bracci operativi che aiutano Google a raggiungere i suoi obiettivi sono Google DeepMind e Google Cloud. Per spiegare la collaborazione più specificamente, Google Cloud porta le innovazioni sviluppate e testate da Google DeepMind sulla sua piattaforma IA pronta per le imprese, così che i clienti possano iniziare a usarle per costruire e fornire capacità di IA generativa. Google Cloud offre tre servizi LLM.

• Il primo è Generative AI su Vertex AI, che consente agli utenti di accedere ai grandi modelli di IA generativa di Google per testare, ottimizzare e distribuire nelle loro applicazioni potenziate dall’IA.
• Il secondo è Vertex AI agent builder, destinato a applicazioni di ricerca aziendale e chatbot. Include flussi di lavoro predefiniti per attività comuni come onboarding, ingestione dati, personalizzazione, ecc.
• L’ultimo è Contact Center AI, una soluzione intelligente per centri di contatto che include Dialog Flow, la piattaforma di IA conversazionale di Google con capacità sia basate sull’intento sia LLM.

Tuttavia, Google ha dovuto affrontare la sua parte di problemi legati all’uso dell’IA. A maggio di quest’anno, il CEO di Google Sundar Pichai ha voluto chiarire che l’azienda aveva sbagliato quando ha generato risultati di immagini con bias razziale in risposta alle query degli utenti. 

Google ha dovuto mettere in pausa le funzionalità di generazione di immagini di Gemini dopo che gli utenti dei social media si sono lamentati del loro risultato che perpetuava immagini errate, inclusa la rappresentazione di persone di colore quando si raffiguravano i nazisti. 

Rifacendosi a gran parte della ricerca citata qui, l’azienda ha riconosciuto che il problema è sorto da “limiti nei dati di addestramento utilizzati per sviluppare Gemini.” 

Approfondendo ulteriormente dove risiede il problema, Sundar Pichai ha aggiunto quanto segue:

“Ci sono certi momenti in cui rispondi [a domande come] ‘Qual è la popolazione degli Stati Uniti?’ Sì, è una domanda rispondibile. [Ma] ci sono momenti in cui vuoi mostrare una vasta gamma di opinioni presenti sul web, che è ciò che la ricerca fa e lo fa bene.”

Secondo Pichai, il lavoro che Google ha svolto negli anni garantisce che — dal punto di vista della Ricerca — l’azienda offra informazioni affidabili e di alta qualità. 

Dal punto di vista finanziario, Alphabet Inc. (GOOG ) (società madre di Google) ha registrato ricavi di 307,4 miliardi di dollari nel 2023, in crescita del 9 % rispetto ai 282,8 miliardi del 2022. L’utile operativo ha raggiunto gli 84,3 miliardi di dollari, un aumento significativo rispetto agli 74,8 miliardi dell’anno precedente. Nonostante le spese operative siano aumentate a 223,1 miliardi di dollari, l’utile netto è stato di 73,8 miliardi di dollari, rispetto ai 60 miliardi del 2022.

#2. Cohere

Un’altra realtà che ha svolto un ottimo lavoro in questo campo è la Cohere con sede a Toronto. Una delle loro iniziative che merita una menzione speciale è ‘Cohere for AI’, un laboratorio di ricerca no-profit che cerca di risolvere problemi complessi di machine learning. A differenza di un gruppo di ricerca tradizionale, Cohere for AI opera come un laboratorio ibrido con sia uno staff di ricerca dedicato sia supporto per iniziative di scienza aperta. L’azienda collabora apertamente con ricercatori indipendenti in tutto il mondo per condurre ricerche ML di alto livello.

La comunità di ricerca open science di Cohere è uno spazio intersezionale che comprende ricercatori, ingegneri, linguisti, scienziati sociali e apprendisti per tutta la vita. Lo spazio prospera grazie a contributori provenienti da più di cento paesi del mondo. 

Alcuni dei modelli di Cohere includono Aya 23 – 8B e Aya 23 – 35B, LLM di ricerca all’avanguardia e accessibili, C4AI Command R – 104B e C4AI Command R – 35B, pesi di modello per democratizzare l’accesso alla ricerca, e Aya, il LLM di ricerca massivamente multilingue. 

Recentemente, Cohere e Fujitsu hanno annunciato una partnership strategica per sviluppare e fornire servizi di IA aziendale con capacità linguistiche giapponesi leader del settore. Ai sensi della collaborazione, le aziende costruiranno potenti modelli linguistici di livello enterprise (LLM) per soddisfare le esigenze delle imprese globali.

Nel marzo di quest’anno, Cohere ha annunciato di cercare una valutazione di 5 miliardi di dollari nei suoi ultimi sforzi di raccolta fondi. Stava cercando di raccogliere circa 250 milioni di dollari attraverso questo round di finanziamento, secondo una fonte a conoscenza della questione.

Considerazioni finali

LLM e i modelli di IA generativa che alimentano stanno emergendo e evolvendo rapidamente. Questo settore coinvolge tecnologie all’avanguardia, enormemente ambiziose e intensamente aspirazionali. Si può quindi ragionevolmente prevedere un significativo afflusso di ricerca in questo ambito nei prossimi anni. 

Organizzazioni di ricerca, grandi aziende tecnologiche, istituzioni educative — ogni possibile stakeholder è desideroso di intensificare la propria allocazione di risorse in questo settore. Un tale fermento di attività significherebbe emergere più svantaggi. Ma significherebbe anche correzioni di rotta, pensare fuori dagli schemi e reinventare le soluzioni esistenti nel modo più ottimizzato possibile.

Clicca qui per scoprire tutto sugli investimenti nell’intelligenza artificiale.