Investire nell’hardware AI: dalle CPU alle XPU

Investire nell’hardware AI: approccio picconi e pale

AI è promettente di essere il cambiamento più importante nella nostra economia, nei sistemi produttivi e nella società negli ultimi decenni, potenzialmente rendendo persino le trasformazioni radicali introdotte da Internet trascurabili a confronto.

Potrebbe far scomparire intere categorie di lavoro, tra cui autisti, traduttori, assistenza clienti, web designer, ecc. Altri lavori potrebbero subire una riduzione radicale della domanda, come programmatori, avvocati junior, diagnostici, ecc.

Dovrebbe inoltre creare un enorme valore aggiunto e produttività per molte altre attività, con le principali aziende di software AI probabilmente le prime a raggiungere capitalizzazioni di mercato precedentemente inimmaginabili.

Per tutti questi motivi, i mercati dei capitali e gli investitori sono stati affascinati dall’IA e prestano molta attenzione ai progressi dei numerosi giganti tecnologici nell’IA, così come alla forte concorrenza emergente dai giganti tecnologici cinesi come Alibaba e startup come DeepSeek.

Un altro modo per partecipare al boom dell’IA è seguire la strategia nota per funzionare in ogni corsa all’oro: non cercare l’oro, ma vendere i picconi e le pale. Questo ha certamente funzionato per le aziende che si trovavano nella posizione migliore per vendere hardware ottimizzato per l’IA, con Nvidia (NVDA ) avendo trasformato le sue schede grafiche da gioco in chip per l’addestramento dell’IA, rendendola l’azienda più preziosa al mondo, superando la sorprendente capitalizzazione di mercato di 4 T $ (segui il link per un rapporto completo su Nvidia).

Poiché l’IA richiede hardware molto specifico, per lo più diverso dalle precedenti forme di compiti informatici, e rappresenta un’enorme opportunità di business, l’industria dei semiconduttori è ora in una corsa per sviluppare nuove forme di hardware progettate specificamente per l’addestramento e l’esecuzione di programmi IA.

Anche se Nvidia probabilmente rimarrà una delle principali aziende del settore, stanno emergendo alternative che potrebbero offrire interessanti opportunità per gli investitori attenti fin dall’inizio.

Perché l’IA ha bisogno di hardware specializzato

Molti piccoli calcoli

Le prime iniziative nell’IA utilizzavano la stessa capacità di calcolo di altri programmi, concentrandosi soprattutto sui processori (Central Processing Unit – CPU). Le CPU sono ancora importanti, ma è rapidamente emerso che non sono ottimali per la maggior parte dei metodi attualmente usati per sviluppare le IA.

Le reti neurali e altri metodi simili richiedono molte calcolazioni relativamente semplici, anziché un’unica calcolazione molto complessa. Quindi, molti chip più piccoli che lavorano in parallelo sono generalmente migliori rispetto a CPU massicce e potenti.

Questo è in gran parte il motivo per cui le GPU sono rapidamente diventate più popolari, poiché le schede grafiche sono intrinsecamente progettate per eseguire migliaia di piccoli calcoli in parallelo.

L’addestramento dell’IA odierno si basa in gran parte su reti neurali, un concetto che ha vinto il Premio Nobel per la Fisica nel 2024, un riconoscimento di cui abbiamo trattato in dettaglio in un articolo dedicato all’epoca.

Fonte: Nobel Prize

Una seconda rivoluzione nella tecnologia AI è arrivata con i “transformer”. Risolvono l’incapacità delle reti neurali tradizionali di elaborare efficientemente lunghe sequenze di dati, una caratteristica comune di qualsiasi linguaggio naturale.

Introdotti per la prima volta nel 2017 da ricercatori di Google, sono la causa principale dell’attuale esplosione della capacità dell’IA. I transformer sono al centro di prodotti AI come i LLM (Large Language Models), inclusi ChatGPT.

Requisiti diversi

• Fine-tuning comporta l’addestramento di un modello su dati specifici del dominio, richiedendo notevoli potenze di calcolo e memoria. È un compito molto tecnico, spesso al limite della scienza dell’IA.
• Inference si concentra sull’utilizzo di un modello già addestrato per generare output, richiedendo meno potenza di calcolo ma ponendo maggiore attenzione a bassa latenza e efficienza dei costi.
  • Questo è più comunemente svolto da esperti di IA che distribuiscono modelli preesistenti per risolvere problemi reali.

Quindi, sebbene i costi siano ovviamente una preoccupazione sia per il fine-tuning/addestramento sia per l’inferenza/uso dell’IA, l’addestramento richiederà spesso l’hardware migliore possibile, mentre le attività di utilizzo si concentreranno maggiormente sul costo dell’hardware e sul consumo energetico nella scelta della migliore opzione hardware.

CPU vs GPU

Unità di Elaborazione Centrale (CPU):

Le CPU sono generiche e non specifiche per l’IA. Tuttavia, rimangono essenziali per eseguire istruzioni e effettuare calcoli di base nei sistemi IA.

La maggior parte del software che gestisce l’interfaccia con gli utenti finali di un sistema IA sarà anche incentrata sulla CPU, sia su computer individuali sia su software basati sul cloud.

Fonte: AnandTech

Le CPU possono anche essere usate per IA molto semplici, dove l’hardware dedicato non è realmente necessario. Questo è particolarmente vero quando l’output non è particolarmente urgente, e l’elaborazione IA relativamente più lenta delle CPU non è un problema.

Quindi, piccoli modelli con piccoli batch di dati e calcoli possono funzionare bene su CPU. L’onnipresenza delle CPU nei computer comuni le rende anche una buona opzione per un utente medio che non vuole investire in hardware specifico per l’IA.

Le CPU sono anche molto affidabili e stabili, rendendole una buona scelta per compiti critici dove l’assenza di errori è un criterio importante.

Infine, le CPU sono utili per alcune attività nell’addestramento IA, generalmente in collaborazione con altri tipi di hardware, come il caricamento dei dati, la formattazione, il filtraggio e la visualizzazione.

Unità di Elaborazione Grafica (GPU):

Originariamente progettate per il rendering grafico, le GPU sono progettate per l’elaborazione parallela, rendendole ideali per l’addestramento di modelli IA che richiedono la gestione di grandi set di dati. Il passaggio da CPU a GPU ha ridotto i tempi di addestramento da settimane a ore.

Grazie alla loro ampia disponibilità e all’esperienza degli specialisti IT nell’utilizzarle, le GPU sono state il primo tipo di hardware informatico ad essere installato in serie per scalare la ricerca IA.

Fonte: Aorus

Strumentale al successo delle GPU è stato lo sviluppo di CUDA da parte di Nvidia, un’interfaccia di programmazione di uso generale per le GPU di NVIDIA, aprendo la porta a usi diversi dal gaming. Questo è stato fatto perché alcuni ricercatori già utilizzavano le GPU per eseguire calcoli invece dei tradizionali supercomputer.

“I ricercatori hanno capito che acquistando questa scheda da gioco chiamata GeForce, la si aggiunge al proprio computer e si ottiene essenzialmente un supercomputer personale.

Dinamica molecolare, elaborazione sismica, ricostruzione TC, elaborazione di immagini – una serie di cose.

Jensen Huang, in un’intervista a Sequoia

Oggi, le GPU sono ancora tra i tipi di hardware IA più richiesti, con Nvidia a malapena in grado di produrre abbastanza per soddisfare la domanda dei giganti tecnologici che costruiscono data center IA su scala gigawatt.

È anche l’inizio dell’era delle “super GPU”, con il recente rilascio da parte di Nvidia del GB200 NVL72.

Questo hardware è progettato per agire come una singola GPU massiccia direttamente dalla fabbrica, invece di dover collegare molte piccole. Lo rende molto più potente anche rispetto al modello H100, precedentemente record.

Fonte: Nvidia

Questo dovrebbe anche essere molto più efficiente dal punto di vista energetico, un punto cruciale poiché l’industria IA potrebbe esaurire l’energia prima di esaurire i chip, data la velocità con cui vengono costruiti i data center IA. Maggiore efficienza di calcolo ed energia significa meno calore di scarto, risolvendo temporaneamente anche il problema del surriscaldamento.

L’ascesa degli ASIC e dell’hardware AI

Le Application-Specific Integrated Circuits (ASIC) sono hardware di calcolo progettati specificamente per un determinato compito di calcolo, rendendoli ancora più specializzati rispetto alle GPU, ancora relativamente generiche.

Quindi sono meno flessibili e programmabili rispetto all’hardware di uso generale.

Di regola, tendono ad essere più complessi. Sono anche generalmente più costosi, sia per la mancanza di economie di scala nella loro produzione sia per il costo dei design personalizzati.

Tuttavia, sono molto più efficienti nel loro compito specifico, producendo normalmente un output più rapidamente con molto meno spreco di potenza di calcolo ed energia.

Gli ASIC e altri hardware specifici per l’IA stanno aumentando in utilizzo, poiché il settore sta progressivamente notando che alcuni calcoli non sono idealmente eseguiti su GPU ma richiedono attrezzature più specializzate.

Unità di Elaborazione Tensoriale (TPU)

Le TPU sono state sviluppate da Google (GOOGL ) appositamente per eseguire calcoli tensoriali (legati al calcolo basato su transformer). Sono ottimizzate per operazioni ad alta velocità e bassa precisione.

Fonte: C#Corner

Ciò conferisce alle TPU alte prestazioni, efficienza e scalabilità per l’addestramento di grandi reti neurali.

Le TPU possiedono funzionalità specializzate, come l’unità di moltiplicazione matriciale (MXU) e una topologia di interconnessione proprietaria, che le rendono ideali per accelerare l’addestramento e l’inferenza dell’IA.

Le TPU alimentano Gemini e tutte le applicazioni AI di Google come Search, Photos e Maps, servendo oltre 1 miliardo di utenti.

Questo tipo di hardware può accelerare significativamente lo sviluppo e il funzionamento delle reti neurali, dove l’errore occasionale è meno significativo, poiché questi modelli dipendono fortemente da statistiche e da un gran numero di calcoli fin dall’inizio.

Tra i compiti per gli utenti finali più adatti alle TPU ci sono l’apprendimento profondo, il riconoscimento vocale e la classificazione delle immagini.

Processori di Reti Neurali (NNP):

Collegati anche alle Neural Processing Units (NPU) e chiamati chip neuromorfici, gli NPP sono specializzati nel calcolo di reti neurali, progettati per imitare le connessioni neurali nel cervello umano. Sono talvolta chiamati acceleratori AI, sebbene questo termine sia meno definito.

Una NPU integra anche memoria e calcolo attraverso i pesi sinaptici. Così può regolare o “imparare” nel tempo, portando a una maggiore efficienza operativa.

Una NPU include moduli specifici per moltiplicazione e addizione, funzioni di attivazione, operazioni dati 2D e decompressione.

Il modulo specializzato di moltiplicazione e addizione è usato per eseguire operazioni rilevanti per l’elaborazione di applicazioni di reti neurali, come il calcolo della moltiplicazione e addizione di matrici, convoluzione, prodotto scalare e altre funzioni.

La specializzazione può aiutare una NPU a completare un’operazione con una sola calcolazione invece di diverse migliaia con hardware generico. Per esempio, IBM afferma che le NPU possono migliorare radicalmente l’efficienza del calcolo AI rispetto alle GPU.

“I test hanno mostrato che alcune prestazioni delle NPU sono oltre 100 volte migliori rispetto a una GPU comparabile, con lo stesso consumo energetico.”

Grazie a questa efficienza energetica, le NPU sono popolari tra i produttori per l’installazione nei dispositivi degli utenti, dove possono aiutare a eseguire localmente compiti per app di IA generativa, un esempio di “edge computing” (vedi sotto per ulteriori dettagli).

Molti metodi sono attualmente esplorati su come creare chip neuromorfici:

• Utilizzare la ferroelettricità incipiente, un fenomeno ancora poco compreso.
• Sottostrato attivo usando vanadio o titanio.
• Utilizzare i memristori, un nuovo tipo di componente elettronico, che può eseguire compiti AI a 1/800 del consumo energetico normale.

Unità di Elaborazione Ausiliaria (XPUs)

L’XPU unisce CPU (processore), GPU (scheda grafica / processori paralleli) e memoria nello stesso dispositivo elettronico.

Fonte: Broadcom [securities_stock_price_tag symbol="AVGO" exchange="NASDAQ"]

Le XPU è un termine ampio, che comprende molte varianti di questo concetto di integrare tutto l’hardware in unità autonome, inclusi Data Processing Units (DPU), Infrastructure Processing Units (IPU) e Function Accelerator Cards (FAC).

Le XPU sono viste come una soluzione a un problema crescente nei data center IA, ovvero la crescente necessità di connettività tra le sub-unità, al punto che il ritardo dei dati diventa un fattore importante nel rallentare il calcolo, più del potere di calcolo disponibile.

Essenzialmente, i chip (GPU, TPU, NPP, ecc.) attendono i dati tanto quanto stanno effettivamente lavorando.

Un leader di questa tecnologia è Broadcom, che abbiamo discusso in dettaglio in un rapporto di investimento dedicato.

Field-Programmable Gate Arrays (FPGAs):

Le FPGA sono processori programmabili, rendendoli significativamente più flessibili e riconfigurabili rispetto agli ASIC più rigidi. Le FPGA possono essere personalizzate per algoritmi AI specifici, offrendo potenzialmente prestazioni più elevate ed efficienza energetica.

Fonte: Microcontrollers Labs

La flessibilità ha un costo, poiché le FPGA sono generalmente più complesse, costose e consumano più energia. Tuttavia possono comunque essere più efficienti rispetto all’hardware generico.

Ciò le rende un prodotto di nicchia, dove la loro flessibilità compensa gli svantaggi. Per esempio, l’apprendimento automatico, la visione artificiale e l’elaborazione del linguaggio naturale possono beneficiare della versatilità delle FPGA.

Memoria ad Alta Larghezza di Banda (HBM):

I più importanti sviluppi nell’hardware AI personalizzato sono stati nel campo della potenza di calcolo, per molto tempo il collo di bottiglia nella costruzione di maggiore capacità di calcolo per addestrare nuove IA.

Tuttavia, questi sistemi necessitano anche di sistemi di supporto ad alta efficienza, di cui la memoria è una parte importante.

HBM fornisce, come indica il nome, una larghezza di banda superiore rispetto alla DRAM tradizionale.

È realizzata impilando più die DRAM verticalmente e collegandoli tramite through-silicon vias (TSV). La prima generazione di HBM è stata sviluppata nel 2013.

L’impilamento verticale salva spazio e riduce la distanza fisica che i dati devono percorrere, accelerando il trasferimento dei dati, un requisito fondamentale nel calcolo IA.

Le HBM sono più complesse da produrre e più costose della DRAM, ma i benefici in termini di prestazioni e efficienza energetica spesso giustificano il costo più elevato per le applicazioni IA.

Infrastruttura dei Data Center IA: Energia, Raffreddamento e Connettività

Oltre alla memoria e alla potenza di calcolo, i sistemi ausiliari dei data center IA sono anch’essi importanti. Senza di essi, i dati non possono circolare abbastanza velocemente, i chip si surriscalderebbero o l’energia disponibile sarebbe insufficiente.

Ciò significa che, ad esempio, l’hardware di connettività Broadcom beneficia notevolmente della crescita dei data center IA, così come soluzioni specializzate come i fornitori di apparecchiature di raffreddamento, ad esempio Vertiv (VRT ) o Schneider Electric (SU.PA).

L’alimentazione potrebbe anche diventare un problema, e diversi giganti tecnologici stanno cercando di affrontarlo puntando sull’energia nucleare, con il primo passo da parte di Microsoft (MSFT ) nel 2024, seguito da molti altri.

Combinato con l’impegno delle aziende tecnologiche a ridurre l’impronta di carbonio dell’IA, ciò dovrebbe favorire notevolmente le aziende del settore energetico nucleare o rinnovabile, come Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), o Brookfield Energy Partners (BEP ) (segui i link per un rapporto su ciascuna azienda).

Tecnologie emergenti di calcolo IA

Computazione quantistica

Poiché l’IA è così affamata di potenza di calcolo, è possibile che il futuro dell’hardware del settore non sia nemmeno nelle soluzioni al silicio attualmente disponibili.

Una possibilità è che la computazione quantistica possa essere usata per rilevare schemi molto più efficientemente rispetto al calcolo classico, qualcosa già esplorato dai ricercatori.

La computazione quantistica nel suo insieme potrebbe essere usata per risolvere alcuni calcoli specifici quasi impossibili con il calcolo binario. Probabilmente sarà applicata all’IA, ma i primi computer quantistici commerciali sono ancora a qualche anno di distanza, e una rete quantistica ampia ancora più lontana.

Fotonic

Usare la luce invece degli elettroni per trasportare dati, la fotonica potrebbe essere molto più veloce dei dispositivi elettronici.

Poiché i computer quantistici solitamente trasportano dati quantistici con fotoni entangled, c’è anche molta sovrapposizione tra computazione quantistica e fotonica, e il primo chip quantistico-fotonico duale è già stato annunciato.

Organoidi

Poiché la maggior parte dell’IA replica nei computer il funzionamento delle reti neurali cerebrali, alcuni ricercatori si chiedono se non potremmo invece usare… cellule cerebrali reali.

Questa è un’idea intrigante, soprattutto poiché alcune ricerche potrebbero indicare che il cervello è in realtà un computer quantistico organico.

Questo tipo di “computer” è chiamato organoide, e consiste essenzialmente in neuroni coltivati in laboratorio su un chip informatico. I neuroni poi auto-organizzano i loro dendriti e connessioni in risposta allo stimolo del chip.

Questa tecnologia è ancora nuova e si basa sulla stampa 3D bio.

Altri

Abbiamo esplorato altre alternative al calcolo al silicio in “Top 10 Non-Silicon Computing Companies”, come il diossido di vanadio, il grafene, il gating redox o i materiali organici.

Ognuna promette di essere molto più veloce o molto meno energivora rispetto al calcolo classico basato su silicio. Tuttavia, sono ancora relativamente nuove e poco probabili a rivoluzionare il campo dell’IA su scala commerciale, almeno per i prossimi 5‑10 anni.

AI Cloud e AI Edge: Tendenze di accessibilità

AI Cloud

Poiché i sistemi IA più potenti sono realizzati da grandi aziende tecnologiche, sono per lo più accessibili tramite il cloud. Lo stesso vale per l’accesso all’hardware specializzato per l’IA.

Il leader di questa tendenza è Coreweave (CRCW ), una società che è passata da provider cloud a mining di criptovalute usando GPU, per poi oggi fornire calcolo IA su richiesta.

Ciò ha reso CoreWeave (CRWV ) un partner chiave per le startup IA emergenti che cercano di competere con i giganti tecnologici, come  Inflection AI e il suo cluster GPU da 1,3 Mrd, finanziato da un nuovo round di finanziamento.

“Due mesi fa, un’azienda potrebbe non esistere, e ora potrebbe avere 500 milioni di dollari di finanziamento venture.

E la cosa più importante per loro è assicurarsi l’accesso al calcolo; non possono lanciare il loro prodotto o avviare la loro attività finché non lo hanno.

Brian Venturo – CoreWeave CTO

Man mano che il puro fornitore di hardware IA diventa cauto nei confronti dei grandi tech che producono le proprie GPU, TPU, XPU, ecc. e passano da clienti a concorrenti, è probabile che aziende come CoreWeave otterranno accesso prioritario alle ultime release hardware di Nvidia e altri.

Questo modello di business sarà probabilmente particolarmente importante per l’addestramento IA, che richiede molto più capacità di calcolo rispetto all’uso delle IA già addestrate.

Edge Computing e PC IA

Un altro caso di calcolo IA che sta evolvendo rapidamente è la necessità di eseguire i calcoli dei sistemi IA in loco, il più vicino possibile a situazioni reali.

Questo è indispensabile per sistemi che potrebbero non tollerare di essere scollegati dall’IA se la connessione fallisce, o quando la latenza di andata e ritorno con il cloud è troppo lenta.

Un buon esempio sono le auto a guida autonoma, che dovrebbero comprendere l’ambiente offline.

Questo tipo di calcolo è chiamato edge computing, e beneficia notevolmente da hardware più efficiente e meno energivoro.

Può aumentare l’affidabilità dell’IA, e man mano che i modelli diventano più efficienti, illustrato dal salto in avanti di DeepSeek, potrebbe diventare un modello di distribuzione IA più diffuso in futuro.

Per lo stesso motivo, i PC IA, come quello recentemente lanciato da Nvidia, potrebbero a lungo termine essere sufficienti per eseguire molte applicazioni IA localmente, aumentando privacy e sicurezza rispetto a IA sempre connesse al cloud.

Conclusione

L’hardware IA è stato per un certo periodo quasi sinonimo di GPU, poiché le schede grafiche erano molto più efficienti nell’addestramento IA rispetto ad altri tipi di hardware come le CPU. Questo ha arricchito Nvidia e molti dei suoi primi azionisti.

Le GPU, soprattutto le “super GPU” focalizzate sull’IA, probabilmente rimarranno importanti nella costruzione dei data center IA. Ma evolveranno in un solo componente di sistemi sempre più complessi e specializzati.

Le operazioni dei transformer saranno inviate alle TPU, le reti neurali affidate alle NPP, i compiti ripetitivi a ASIC dedicati o a FPGA riconfigurate.

Nel frattempo, la memoria ad alta larghezza di banda, i connettori di telecomunicazione avanzati e il raffreddamento ultra‑efficiente manterranno tutte le funzioni ausiliarie intorno al nucleo di calcolo.

Per l’edge computing e IA più piccole rispetto ai massivi LLM, il calcolo locale, forse alimentato da XPU tutto‑in‑uno, sarà probabilmente usato da scienziati, auto a guida autonoma e utenti preoccupati per privacy o censura, potenzialmente con modelli IA open‑source.

Ciò che è certo è che i profitti derivanti dalla vendita dei “picconi e pale” dell’hardware IA nella corsa all’oro dell’IA sono tuttora lontani dal finire.

Dopo un periodo di dominazione da parte di Nvidia, gli investitori potrebbero voler diversificare i rischi distribuendo il loro portafoglio hardware IA verso altri design, e forse anche verso le compagnie di servizi elettrici che forniranno i preziosi gigawatt per gestire i data center IA sempre più grandi e numerosi nel mondo.