Investeren in AI-hardware: Van CPU’s tot XPUs

Investeren in AI-hardware: Pieken en schoppen aanpak

AI belooft de belangrijkste verandering te worden in onze economie, productieve systemen en samenleving in de afgelopen decennia, en maakt zelfs de radicale veranderingen die het internet teweegbracht triviaal in vergelijking.

Het zou een hele categorie banen kunnen doen verdwijnen, waaronder chauffeurs, vertalers, klantenservice, webdesigners, enzovoort. Andere banen kunnen een radicale daling in vraag zien, zoals programmeurs, junior advocaten, diagnostici, enz.

Het zou ook veel extra waarde en productiviteit moeten creëren voor vele andere taken, waarbij de dominante AI‑softwarebedrijven waarschijnlijk de eerste zijn die marktcapitalisaties bereiken die voorheen onvoorstelbaar waren.

Om al deze redenen zijn kapitaalmarkten en beleggers gefascineerd door AI en besteden ze veel aandacht aan de voortgang van de vele techgiganten op het gebied van AI, evenals de sterke concurrentie die opkomt van Chinese techgiganten zoals Alibaba en startups zoals DeepSeek.

Een andere manier om te profiteren van de AI‑boom is de strategie te volgen die in elke goudkoorts werkt: zoek niet naar goud, maar verkoop de pieken en schoppen. Dit heeft zeker gewerkt voor de bedrijven die zich in de beste positie bevonden om AI‑geoptimaliseerde hardware te verkopen, met Nvidia (NVDA ) heeft zijn gaming‑grafische kaarten omgevormd tot AI‑trainingschips, waardoor het het meest waardevolle bedrijf ter wereld werd, met een verbazingwekkende marktkapitalisatie van $4 triljoen (volg de link voor een volledig rapport over Nvidia).

Omdat AI zeer specifieke hardware vereist, die meestal verschilt van eerdere vormen van computertaken, en zo’n enorme zakelijke kans biedt, is de halfgeleiderindustrie nu in een race om nieuwe vormen van hardware te ontwikkelen die speciaal zijn ontworpen voor het trainen en uitvoeren van AI‑programma’s.

Hoewel Nvidia waarschijnlijk een van de topbedrijven in de sector zal blijven, komen er nu alternatieven op die interessante kansen voor beleggers kunnen bieden die vroegtijdig opletten.

Waarom AI gespecialiseerde hardware nodig heeft

Veel kleine berekeningen

Initiale pogingen in AI maakten gebruik van dezelfde rekenkracht als andere programma’s, met de nadruk op processoren (Central Processing Unit – CPU’s). CPU’s blijven belangrijk, maar al snel bleek dat ze niet optimaal zijn voor de meeste methoden die momenteel worden gebruikt om AI’s te ontwikkelen.

Neurale netwerken en andere vergelijkbare methoden vereisen veel relatief eenvoudige berekeningen, in plaats van één zeer complexe berekening. Dus veel kleinere chips die parallel werken zijn over het algemeen beter dan enorme en krachtige CPU’s.

Dit is grotendeels de reden waarom GPU’s snel populairder werden, aangezien grafische kaarten van nature zijn ontworpen om duizenden kleinere berekeningen parallel uit te voeren.

De AI‑training van vandaag is grotendeels gebaseerd op neurale netwerken, een concept dat in 2024 de Nobelprijs voor de Natuurkunde won, een beloning die we destijds uitgebreid hebben behandeld in een speciaal artikel.

Bron: Nobel Prize

Een tweede revolutie in AI‑technologie kwam met de “transformers”. Ze lossen het onvermogen van traditionele neurale netwerken op om efficiënt lange reeksen gegevens te verwerken, een veelvoorkomend kenmerk van elke natuurlijke taal.

Voor het eerst geïntroduceerd in 2017 door Google‑onderzoekers, is het de oorzaak van de huidige explosie in AI‑capaciteit. Transformers vormen de kern van AI‑producten zoals LLM’s (Large Language Models), waaronder ChatGPT.

Verschillende vereisten

Een belangrijk onderscheid in AI‑werkstromen is het verschil tussen fine‑tuning en inference, die elk verschillende hardware‑eisen hebben.

• Fine‑tuning omvat het trainen van een model met domeinspecifieke data, wat aanzienlijke rekenkracht en geheugen vereist. Het is een zeer technische taak, vaak aan de rand van de AI‑wetenschap.
• Inference richt zich op het gebruiken van een reeds getraind model om output te genereren, waarbij minder rekenkracht nodig is, maar met een grotere nadruk op lage latentie en kostenefficiëntie.
  • Dit wordt vaker gedaan door AI‑experts die bestaande modellen inzetten om problemen uit de praktijk op te lossen.

Dus, hoewel kosten uiteraard een zorg zijn voor zowel fine‑tuning/training als inference/gebruik van AI, vereist training vaak de best mogelijke hardware, terwijl gebruikstaken meer gericht zijn op de kosten van hardware en energieverbruik bij het kiezen van de beste hardwareoptie.

CPU’s versus GPU’s

Central Processing Units (CPU’s):

CPU’s zijn algemeen inzetbaar en geen specifiek AI‑hardware. Ze blijven echter essentieel voor het uitvoeren van instructies en het uitvoeren van basisberekeningen in AI‑systemen.

Het grootste deel van de software die de interface met de eindgebruikers van een AI‑systeem afhandelt, zal ook CPU‑gericht zijn, of het nu individuele computers of cloud‑gebaseerde software betreft.

Bron: AnandTech

CPU’s kunnen ook worden gebruikt voor zeer eenvoudige AI’s, waarbij speciale hardware niet echt vereist is. Dit geldt vooral wanneer de output niet bijzonder urgent is, en de relatief tragere AI‑verwerking van CPU’s geen probleem vormt.

Kleine modellen met kleine batches data en berekeningen kunnen goed presteren op CPU’s. De alomtegenwoordigheid van CPU’s in gewone computers maakt ze ook een goede optie voor een gemiddelde gebruiker die niet wil investeren in AI‑specifieke hardware.

CPU’s zijn bovendien zeer betrouwbaar en stabiel, waardoor ze een goede keuze zijn voor kritieke taken waarbij fouten onacceptabel zijn.

Ten slotte zijn CPU’s nuttig voor enkele taken in AI‑training, meestal in samenwerking met andere soorten hardware, zoals het laden, formatteren, filteren en visualiseren van data.

Graphics Processing Units (GPU’s):

Oorspronkelijk ontworpen voor grafische weergave, zijn GPU’s ontworpen voor parallelle verwerking, waardoor ze ideaal zijn voor het trainen van AI‑modellen die grote datasets moeten verwerken. De overstap van CPU’s naar GPU’s heeft de trainingstijden verkort van weken naar uren.

Door hun brede beschikbaarheid en de ervaring van IT‑specialisten met deze hardware, waren GPU’s het eerste type computerhardware dat in serie werd geïnstalleerd om AI‑onderzoek op te schalen.

Bron: Aorus

Ook cruciaal voor het succes van GPU’s was de ontwikkeling van CUDA door Nvidia, een algemene programmeerinterface voor Nvidia’s GPU’s, die de deur opende voor andere toepassingen dan gaming. Dit gebeurde omdat sommige onderzoekers al GPU’s gebruikten voor berekeningen in plaats van de gebruikelijke supercomputers.

“Researchers realized that by buying this gaming card called GeForce, you add it to your computer, you essentially have a personal supercomputer.

Molecular dynamics, seismic processing, CT reconstruction, image processing—a whole bunch of different things.”

Jensen Huang, in an interview with Sequoia

Vandaag de dag behoren GPU’s nog steeds tot de meest gewilde soorten AI‑hardware, waarbij Nvidia nauwelijks genoeg kan produceren om te voldoen aan de vraag van tech‑giganten die AI‑datacenters op gigawatt‑schaal bouwen.

Het is ook het begin van het “super‑GPU‑tijdperk”, met de recente release door Nvidia van de GB200 NVL72.

Deze hardware is ontworpen om als één enorme GPU rechtstreeks uit de fabriek te functioneren, in plaats van vele kleine te moeten netwerken. Het maakt het veel krachtiger dan zelfs het eerder recordbrekende H100‑model.

Bron: Nvidia

Dit zou ook veel energiezuiniger moeten zijn, een cruciaal punt aangezien de AI‑industrie mogelijk eerst een tekort aan energie zal hebben voordat er een tekort aan chips ontstaat, gezien de snelheid waarmee AI‑datacenters worden gebouwd. Meer reken‑ en energie‑efficiëntie betekent minder afvalwarmte, wat tijdelijk het oververhittingsprobleem oplost.

De opkomst van ASIC’s en AI‑hardware

Application‑Specific Integrated Circuits (ASIC’s) zijn computerhardware die specifiek is ontworpen voor een bepaalde rekentaak, waardoor ze nog meer gespecialiseerd zijn dan nog relatief algemene GPU’s.

Ze zijn dus minder flexibel en programmeerbaar dan algemene hardware.

Over het algemeen zijn ze complexer. Ze zijn ook doorgaans duurder, zowel door een gebrek aan schaalvoordelen bij de productie als door de kosten van maatwerkontwerpen.

Ze zijn echter veel efficiënter voor hun specifieke taak, produceren normaal gesproken sneller een output met veel minder verspilde rekencapaciteit en energie.

ASIC’s en andere AI‑specifieke hardware nemen toe in gebruik, aangezien het veld steeds meer merkt dat sommige berekeningen niet ideaal op GPU’s kunnen worden uitgevoerd maar meer gespecialiseerde apparatuur vereisen.

Tensor Processing Units (TPU’s)

TPU’s werden ontwikkeld door Google (GOOGL ) specifiek voor het uitvoeren van tensorberekeningen (gerelateerd aan transformer‑gebaseerde berekeningen). Ze zijn geoptimaliseerd voor hoge doorvoersnelheid en lage‑precisie rekenkunde.

Bron: C#Corner

Dit geeft TPU’s hoge prestaties, efficiëntie en schaalbaarheid voor het trainen van grote neurale netwerken.

TPU’s beschikken over gespecialiseerde functies, zoals de matrix‑vermenigvuldigings‑eenheid (MXU) en een eigen interconnect‑topologie, die ze ideaal maken voor het versnellen van AI‑training en inference.

TPU’s aandrijven Gemini en alle AI‑aangedreven toepassingen van Google zoals Search, Photos en Maps, die meer dan 1 miljard gebruikers bedienen.

Dit type hardware kan de ontwikkeling en werking van neurale netwerken aanzienlijk versnellen, waarbij een occasionele fout minder significant is, aangezien deze modellen sterk afhankelijk zijn van statistieken en een groot aantal berekeningen.

Onder de eindgebruikerstaken zijn deep learning, spraakherkenning en beeldclassificatie het meest geschikt voor TPU’s.

Neural Network Processors (NNP’s):

Ook gekoppeld aan Neural Processing Units (NPU’s) en neuromorfe chips genoemd, zijn NPP’s gespecialiseerd in neurale netwerkberekeningen, ontworpen om de neurale verbindingen in het menselijk brein na te bootsen. Ze worden soms ook een AI‑accelerator genoemd, hoewel die term minder goed gedefinieerd is.

Een NPU integreert ook opslag en berekening via synaptische gewichten. Zo kan het zich in de loop van de tijd aanpassen of “leren”, wat leidt tot verbeterde operationele efficiëntie.

Een NPU bevat specifieke modules voor vermenigvuldiging en optelling, activatiefuncties, 2D‑data‑operaties en decompressie.

De gespecialiseerde vermenigvuldigings‑ en optellingsmodule wordt gebruikt om bewerkingen uit te voeren die relevant zijn voor de verwerking van neurale netwerktoepassingen, zoals matrixvermenigvuldiging en -optelling, convolutie, dot‑product en andere functies.

De specialisatie kan een NPU helpen een bewerking te voltooien met slechts één berekening in plaats van duizenden met algemene hardware. Bijvoorbeeld, IBM beweert dat NPU de efficiëntie van AI‑berekeningen radicaal kan verbeteren ten opzichte van GPU’s.

Tests hebben aangetoond dat sommige NPU’s meer dan 100 keer beter presteren dan een vergelijkbare GPU, met hetzelfde energieverbruik.

Vanwege deze energie‑efficiëntie zijn NPU’s populair bij fabrikanten om in gebruikersapparaten te installeren, waar ze lokale taken voor generatieve AI‑apps kunnen uitvoeren, een voorbeeld van “edge computing” (zie hieronder voor meer over dat onderwerp).

Veel methoden worden momenteel onderzocht om neuromorfe chips te creëren:

• Benut incipient ferroelectriciteit, een nog slecht begrepen fenomeen.
• Actief substraat met vanadium of titanium.
• Gebruik van memristors, een nieuw type elektronische component, die AI‑taken kan uitvoeren met 1/800 van het normale energieverbruik.

Auxiliaire Verwerking Unit (XPUs)

XPU combineert CPU (processor), GPU (grafische kaart / parallelle processors) en geheugen in hetzelfde elektronische apparaat.

Bron: Broadcom

XPUs is een brede term, die vele variaties van dit concept omvat om alle hardware in zelfcontainende eenheden te brengen, inclusief Data Processing Units (DPU’s), Infrastructure Processing Units (IPU’s), en Function Accelerator Cards (FAC’s).

XPUs worden gezien als een oplossing voor een groeiend probleem van AI‑datacenters, namelijk de toenemende behoefte aan connectiviteit tussen de sub‑eenheden, tot het punt waarop datavertraging een belangrijke factor wordt die de rekencapaciteit vertraagt, meer dan de beschikbare rekenkracht.

In wezen wachten de chips (GPU’s, TPU’s, NPP’s, enz.) evenveel op de data als dat ze daadwerkelijk werken.

Een leider op dit gebied is Broadcom (AVGO ), die we in detail bespraken in een speciaal investeringsrapport.

Field‑Programmable Gate Arrays (FPGA’s):

FPGA’s zijn programmeerbare processors, waardoor ze aanzienlijk flexibeler en herconfigureerbaar zijn dan de meer rigide ASIC’s. FPGA’s kunnen worden aangepast voor specifieke AI‑algoritmen, wat potentieel hogere prestaties en energie‑efficiëntie biedt.

Bron: Microcontrollers Labs

Die flexibiliteit heeft een prijs, aangezien FPGA’s over het algemeen complexer, duurder en energie‑intensiever zijn. Ze kunnen echter nog steeds efficiënter zijn dan algemene hardware.

Dit maakt ze tot een niche‑product, waarbij hun flexibiliteit de nadelen compenseert. Bijvoorbeeld, machine learning, computer vision en natuurlijke taalverwerking kunnen profiteren van de veelzijdigheid van FPGA’s.

High‑Bandbreedte‑Geheugen (HBM):

De belangrijkste ontwikkelingen in op maat gemaakte AI‑gerichte hardware hebben zich op het gebied van rekenkracht voorgedaan, lange tijd het knelpunt bij het bouwen van meer rekencapaciteit om nieuwe AI’s te trainen.

Desondanks hebben deze systemen ook hoog‑efficiënte ondersteuningssystemen nodig, waarvan geheugen een belangrijk onderdeel is. HBM biedt, zoals de naam al aangeeft, een hogere bandbreedte dan traditioneel DRAM.

Dit wordt bereikt door meerdere DRAM‑chips verticaal te stapelen en ze te verbinden met through‑silicon vias (TSV’s). De eerste generatie HBM werd ontwikkeld in 2013.

De verticale stapeling bespaart ruimte en verkort de fysieke afstand die data moet afleggen, waardoor de gegevensoverdracht wordt versneld – een must in AI‑computing.

HBM’s zijn complexer te produceren en duurder dan DRAM, maar de prestatie‑ en energie‑efficiëntievoordelen rechtvaardigen vaak de hogere kosten voor AI‑toepassingen.

AI‑datacenterinfrastructuur: Energie, koeling & connectiviteit

Naast geheugen en rekenkracht zijn de auxiliaire systemen van AI‑datacenters ook belangrijk. Zonder deze kunnen de data niet snel genoeg circuleren, zouden de chips oververhit raken, of zou de beschikbare energie onvoldoende zijn.

Dit betekent dat bijvoorbeeld Broadcom‑connectiviteitshardware sterk profiteert van de opkomst van AI‑datacenters, net als gespecialiseerde oplossingen zoals koelingsapparatuurleveranciers, bijvoorbeeld Vertiv (VRT ) of Schneider Electric (SND.DE ) (SU.PA).

De stroomvoorziening kan ook een probleem worden, en verschillende tech‑giganten proberen dit aan te pakken door te investeren in kernenergie, met de eerste stap van Microsoft (MSFT ) in 2024, gevolgd door vele anderen.

In combinatie met een toezegging van tech‑bedrijven om de CO₂‑voetafdruk van AI te verlagen, zou dit bedrijven in de nucleaire of hernieuwbare energiesector ten goede moeten komen, zoals Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), of Brookfield Energy Partners (BEP ) (volg de links voor een rapport over elk bedrijf).

Opkomende AI‑computingtechnologieën

Quantumcomputing

Omdat AI zo hongerig is naar rekenkracht, is het mogelijk dat de toekomst van de hardware van het veld niet eens bij de momenteel beschikbare siliciumoplossingen ligt.

Een mogelijkheid is dat quantumcomputing kan worden gebruikt om patronen veel efficiënter te detecteren dan klassieke computers, iets dat al door onderzoekers is onderzocht.

Quantumcomputing in het algemeen zou kunnen worden ingezet voor het oplossen van specifieke berekeningen die bijna onmogelijk zijn met binaire computing. Dit zal waarschijnlijk uiteindelijk op AI worden toegepast, maar de eerste commerciële quantumcomputers liggen nog enkele jaren in de toekomst, en een groot quantumnetwerk nog verder weg.

Fotonic

Door licht in plaats van elektronen te gebruiken om data te transporteren, kan fotonic veel sneller zijn dan elektronische apparaten.

Omdat quantumcomputers meestal quantumdata dragen met verstrengelde fotonen, is er veel overlap tussen quantumcomputing en fotonic, en de eerste duale quantum‑fotonic chip is al aangekondigd.

Organoïden

Aangezien de meeste AI in computers de werking van de neurale netwerken van het brein nabootst, vragen sommige onderzoekers zich af of we in plaats daarvan … echte hersencellen kunnen gebruiken.

Dit is een intrigerend idee, vooral omdat sommige onderzoeken kunnen aangeven dat het brein eigenlijk een organische quantumcomputer is.

Dit type “computer” wordt organoïden genoemd, en bestaat in principe uit neuronen die in een laboratorium op een computerchip worden gekweekt. De neuronen organiseren vervolgens hun dendrieten en verbindingen zelf in reactie op de chipstimulus.

Deze technologie is nog nieuw en maakt gebruik van bio‑3D‑printing.

Overige

We onderzochten andere alternatieven voor siliciumcomputing in “Top 10 Non‑Silicon Computing Companies”, zoals vanadiumdioxide, grafeen, redox‑gating of organische materialen.

Elk belooft veel sneller of veel minder energie‑intensief te zijn dan klassieke silicium‑gebaseerde computing. Ze zijn echter nog relatief nieuw en onwaarschijnlijk om het AI‑veld op commerciële schaal te revolutioneren, althans niet in de komende 5‑10 jaar.

Cloud‑AI en Edge‑AI: Toegankelijkheidstrends

Cloud‑AI

Aangezien de krachtigste AI‑systemen worden gemaakt door grote tech‑bedrijven, zijn ze voornamelijk toegankelijk via de cloud. Hetzelfde geldt steeds meer voor toegang tot AI‑gespecialiseerde hardware zelf.

De leider van deze trend is Coreweave (CRCW ), een bedrijf dat van cloudprovider naar cryptocurrency‑mining met GPU’s is gegaan, en nu on‑demand AI‑computatie levert.

Dit maakte CoreWeave (CRWV ) een belangrijke partner voor opkomende AI‑startups die willen concurreren met de tech‑giganten, zoals Inflection AI and its $1.3B GPU cluster, gefinancierd door een verse financieringsronde.

“Two months ago, a company may not have existed, and now they may have $500 million of venture capital funding.

And the most important thing for them to do is secure access to compute; they can’t launch their product or launch their business until they have it,”

Brian Venturo – CoreWeave CTO

Naarmate de pure speler in AI‑hardware wantrouwend wordt tegenover grote techbedrijven die hun eigen GPU’s, TPU’s, XPUs, enz. produceren en evolueren van klanten naar concurrenten, is het waarschijnlijk dat bedrijven zoals CoreWeave prioritaire toegang krijgen tot de nieuwste hardware‑releases van Nvidia en anderen.

Dit bedrijfsmodel zal waarschijnlijk vooral belangrijk zijn voor AI‑training, die veel meer rekencapaciteit vereist dan alleen het gebruik van reeds getrainde AI’s.

Edge‑computing & AI‑PC’s

Een ander geval van AI‑computing dat zich snel ontwikkelt, is de behoefte om de berekeningen van AI‑systemen ter plaatse uit te voeren, zo dicht mogelijk bij de real‑world situaties.

Dit is noodzakelijk voor systemen die mogelijk niet kunnen functioneren zonder AI als de verbinding faalt, of wanneer de latentie van de communicatie met de cloud te hoog is.

Een goed voorbeeld zijn zelfrijdende auto’s, die offline de omgeving moeten begrijpen.

Dit type berekening wordt edge‑computing genoemd, en profiteert sterk van efficiëntere en minder energie‑intensieve hardware.

Het kan de betrouwbaarheid van AI vergroten, en naarmate modellen efficiënter worden, geïllustreerd door de sprong voorwaarts van DeepSeek, kan het een meer gangbaar model van AI‑implementatie in de toekomst worden.

Om dezelfde reden kunnen AI‑PC’s, zoals recent gelanceerd door Nvidia, op de lange termijn voldoende zijn om vele AI‑toepassingen lokaal uit te voeren, waardoor privacy en beveiliging toenemen ten opzichte van altijd verbonden cloud‑AI’s.

Conclusie

AI‑hardware is gedurende een tijd redelijk synoniem geweest aan GPU’s, aangezien grafische kaarten veel efficiënter waren voor AI‑training dan andere hardware zoals CPU’s. Dit maakte Nvidia en veel van zijn vroege aandeelhouders rijk.

GPU’s, vooral AI‑gerichte “super‑GPU’s”, zullen waarschijnlijk belangrijk blijven bij de bouw van AI‑datacenters. Maar ze zullen evolueren tot slechts één van de componenten van steeds complexere en gespecialiseerde systemen.

Transformer‑operaties zullen naar TPU’s worden gestuurd, neurale netwerken naar NPP’s, repeterende taken naar dedicated ASIC’s of geherconfigureerde FPGA’s.

Intussen zullen high‑bandwidth geheugen, geavanceerde telecommunicatie‑connectors en ultra‑efficiënte koeling alle auxiliaire functies rond de rekenkern draaiende houden.

Voor edge‑computing en kleinere AI’s dan de enorme LLM’s, zal lokaal rekenen, mogelijk aangedreven door alles‑in‑één XPUs, waarschijnlijk worden gebruikt door wetenschappers, zelfrijdende auto’s en gebruikers die zich zorgen maken over privacy of censuur, mogelijk met open‑source AI‑modellen.

Wat zeker is, is dat de winsten uit de verkoop van de “pieken en schoppen” van AI‑hardware in de AI‑goudkoorts nog lang niet voorbij zijn.

Na een periode van dominantie door Nvidia, zouden beleggers hun risico’s kunnen willen diversifiëren door hun AI‑hardwareportefeuille uit te breiden naar andere ontwerpen, en misschien zelfs de energie‑nutsbedrijven die de kostbare gigawatt leveren om de steeds groter en talrijker wordende AI‑datacenters in de wereld te laten draaien.