Investering i AI‑hardware: Fra CPU’er til XPU’er

Investering i AI‑hardware: Pick‑ og skovl‑tilgangen

AI lover at blive den vigtigste forandring i vores økonomi, produktive systemer og samfund i de seneste årtier, og kan potentielt gøre selv de radikale ændringer, som internettet medførte, trivielle i sammenligning.

Det kan få en hel jobkategori til at forsvinde, herunder chauffører, oversættere, kundesupport, webdesignere osv. Andre job kan opleve en radikal efterspørgselsreduktion, såsom programmører, jurister på entry‑level, diagnostikere osv.

Det bør også skabe en masse ekstra værdi og produktivitet for mange andre opgaver, hvor de dominerende AI‑softwarevirksomheder sandsynligvis vil være de første til at nå markedsværdi, som tidligere var ubegribeligt.

Af alle disse grunde har kapitalmarkederne og investorerne været fascineret af AI og følger nøje udviklingen hos de mange teknologigiganter inden for AI, såvel som den stærke konkurrence fra kinesiske teknologigiganter som Alibaba og startups som DeepSeek.

En anden måde at udnytte AI‑boomet på er at følge den strategi, der har virket i hver guldfeber: kig ikke efter guld, men sælg pickene og skovlene. Dette har helt sikkert fungeret for de virksomheder, der befandt sig i den bedste position til at sælge AI‑optimeret hardware, med Nvidia (NVDA ) som har omdannet sine gaming‑grafikkort til AI‑træningschips, hvilket har gjort den til verdens mest værdifulde virksomhed, efter at have overskredet den forbløffende $4T markedsværdi (følg linket for en fuld rapport om Nvidia).

Da AI kræver meget specifik hardware, som fortrinsvis adskiller sig fra tidligere former for beregning, og udgør en så enorm forretningsmulighed, er halvlederindustrien nu i et kapløb om at udvikle nye former for hardware, der er designet specifikt til træning og kørsel af AI‑programmer.

Selvom Nvidia sandsynligvis vil forblive en af de førende virksomheder i sektoren, dukker der nu alternativer op, som kan give interessante muligheder for investorer, der følger med tidligt.

Hvorfor AI har specialiseret hardware

Mange små beregninger

De første AI‑forsøg brugte den samme beregningskapacitet som andre programmer og fokuserede hovedsageligt på processorer (Central Processing Unit – CPU’er). CPU’er er stadig vigtige, men det blev hurtigt tydeligt, at de ikke er optimale for de fleste af de metoder, der i dag anvendes til at udvikle AI’er.

Neurale netværk og lignende metoder kræver mange relativt simple beregninger i stedet for én meget kompleks beregning. Så mange mindre chips, der arbejder parallelt, er generelt bedre end massive og kraftfulde CPU’er.

Dette er i høj grad grunden til, at GPU’er hurtigt blev mere populære, da grafikkort er designet til at udføre tusindvis af mindre beregninger parallelt.

Today’s AI training is largely based on neural networks, et koncept, der vandt Nobelprisen i fysik i 2024, en belønning vi dækkede i detaljer i en dedikeret artikel på det tidspunkt.

Kilde: Nobel Prize

En anden revolution inden for AI‑teknologi kom med “transformers”. De løser traditionelle neurale netværks manglende evne til effektivt at behandle lange datasekvenser, en fælles egenskab ved ethvert naturligt sprog.

Først introduceret i 2017 af Google‑forskere, er den årsagen til den nuværende eksplosion i AI‑kapacitet. Transformers er kernen i AI‑produkter som LLM’er (Large Language Models), herunder ChatGPT.

Forskellige krav

• Fine-tuning involverer træning af en model på domænespecifik data, hvilket kræver betydelig beregningskraft og hukommelse. Det er en meget teknisk opgave, ofte på grænsen af AI‑videnskaben.
• Inference fokuserer på at bruge en allerede trænet model til at generere output, hvilket kræver mindre beregningskraft, men et større fokus på lav latenstid og omkostningseffektivitet.
  • Dette udføres mere rutinemæssigt af AI‑eksperter, der implementerer eksisterende modeller for at løse virkelige problemer.

Så selvom omkostninger naturligvis er en bekymring for både fine‑tuning/træning og inference/brug af AI, vil træning ofte kræve den bedst mulige hardware, mens brugsopgaver vil fokusere mere på hardwareomkostninger og energiforbrug, når man vælger den optimale hardware.

CPU’er vs GPU’er

Central Processing Units (CPU’er):

CPU’er er generelle og ikke specifikt AI‑hardware. De er dog stadig afgørende for at udføre instruktioner og udføre grundlæggende beregninger i AI‑systemer.

Det meste af softwaren, der håndterer grænsefladen til de endelige brugere af et AI‑system, vil også være CPU‑centreret, uanset om det er individuelle computere eller cloud‑baseret software.

Kilde: AnandTech

CPU’er kan også bruges til meget simple AI’er, hvor dedikeret hardware egentlig ikke er påkrævet. Dette er især tilfældet, når output ikke er hastende, og den relativt langsommere AI‑behandling på CPU’er ikke er et problem.

Så små modeller med små datamængder og beregninger kan klare sig godt på CPU’er. CPU‑ernes udbredelse i almindelige computere gør dem også til et godt valg for den gennemsnitlige bruger, der ikke ønsker at investere i AI‑specifik hardware.

CPU’er er også meget pålidelige og stabile, hvilket gør dem til et godt valg for kritiske opgaver, hvor ingen fejl er et vigtigt kriterium.

Endelig er CPU’er nyttige til nogle af opgaverne i AI‑træning, typisk i samarbejde med andre hardwaretyper, såsom dataindlæsning, formatering, filtrering og visualisering.

Graphics Processing Units (GPU’er):

Oprindeligt designet til grafisk rendering, er GPU’er designet til parallel behandling, hvilket gør dem ideelle til træning af AI‑modeller, der kræver håndtering af store datasæt. Overgangen fra CPU’er til GPU’er har reduceret træningstiden fra uger til timer.

På grund af deres udbredte tilgængelighed og IT‑specialisternes erfaring med dem, var GPU’er den første type beregningshardware, der blev installeret i serie for at skalere AI‑forskning.

Kilde: Aorus

Også afgørende for GPU‑ernes succes var udviklingen af CUDA fra Nvidia, et generelt programmeringsinterface for NVIDIAs GPU’er, som åbnede døren for andre anvendelser end gaming. Dette skete fordi nogle forskere allerede brugte GPU’er til at udføre beregninger i stedet for de sædvanlige supercomputere.

“Forskere indså, at ved at købe dette gaming‑kort kaldet GeForce, tilføjer du det til din computer, og du har i princippet en personlig supercomputer.

Molekylær dynamik, seismisk behandling, CT‑rekonstruktion, billedbehandling – en hel række forskellige ting.

Jensen Huang, in an interview with Sequoia

I dag er GPU’er stadig blandt de mest eftertragtede typer AI‑hardware, med Nvidia som knap formår at producere nok til at imødekomme efterspørgslen fra teknologigiganter, der bygger AI‑datacentre i gigawatt‑skala.

Det markerer også begyndelsen på “super‑GPU‑æraen”, med den seneste udgivelse fra Nvidia af GB200 NVL72.

Dette hardware er designet til at fungere som en enkelt massiv GPU direkte fra fabrikken, i stedet for at skulle netværke mange små. Det gør den langt mere kraftfuld end selv den tidligere rekordbrydende H100-model.

Kilde: Nvidia

Dette bør også være meget mere energieffektivt, et afgørende punkt, da AI‑industrien muligvis løber tør for energi, før den løber tør for chips i den hastighed, hvormed AI‑datacentre bygges. Mere beregning‑ og energieffektivitet betyder mindre spildvarme, hvilket midlertidigt løser overopvarmningsproblemet.

Stigningen af ASIC’er og AI‑hardware

Application‑Specific Integrated Circuits (ASIC’er) er beregningshardware designet specifikt til en given beregning, hvilket gør dem endnu mere specialiserede end de stadig relativt generelle GPU’er.

De er derfor mindre fleksible og programmerbare end generel hardware.

Som regel er de mere komplekse. De er også generelt dyrere, både på grund af manglende stordriftsfordele i produktionen og omkostningerne ved specialdesign.

De er dog meget mere effektive i deres specifikke opgave, normalt producerer de et output hurtigere med langt mindre spild af beregningskraft og energi.

ASIC’er og anden AI‑specifik hardware får stigende anvendelse, da feltet i stigende grad indser, at nogle beregninger ikke ideelt udføres på GPU’er, men kræver mere specialiseret udstyr.

Tensor Processing Units (TPU’er)

TPU’er blev udviklet af Google (GOOGL ) specifikt til at udføre tensorberegninger (forbundet med transformer‑baseret kalkulation). De er optimeret til høj gennemløbshastighed og lav‑præcisionsaritmetik.

Kilde: C#Corner

Dette giver TPU’er høj ydeevne, effektivitet og skalerbarhed til træning af store neurale netværk.

TPU’er har specialiserede funktioner, såsom matrix‑multiplikationsenheden (MXU) og proprietær interkonnekt‑topologi, der gør dem ideelle til at accelerere AI‑træning og inference.

TPU’er driver Gemini og alle Googles AI‑drevne applikationer som Search, Photos og Maps, som betjener over 1 milliard brugere.

Dette hardware kan betydeligt fremskynde udviklingen og driften af neurale netværk, hvor lejlighedsvise fejl er mindre betydningsfulde, da disse modeller i høj grad er afhængige af statistik og et stort antal beregninger fra starten.

Blandt slutbrugeropgaverne er de mest egnede til TPU’er dyb læring, talegenkendelse og billedklassificering.

Neural Network Processors (NNP’er):

Også forbundet med Neural Processing Units (NPU’er) og kaldet neuromorfe chips, er NPP’er specialiseret i beregning af neurale netværk, designet til at efterligne de neurale forbindelser i den menneskelige hjerne. De kaldes også nogle gange en AI‑accelerator, selvom udtrykket er mindre veldefineret.

En NPU integrerer også lagring og beregning gennem synaptiske vægte. Så den kan justere eller “lære” over tid, hvilket fører til forbedret drifts‑effektivitet.

En NPU indeholder specifikke moduler til multiplikation og addition, aktiveringsfunktioner, 2D‑data‑operationer og dekompression.

Det specialiserede multiplikations‑ og additionsmodul bruges til at udføre operationer, der er relevante for behandling af neurale netværksapplikationer, såsom beregning af matrix‑multiplikation og addition, konvolution, prikprodukt og andre funktioner.

Specialiseringen kan hjælpe en NPU med at fuldføre en operation med kun én beregning i stedet for flere tusinde med generel hardware. For eksempel påstår IBM, at NPU kan radikalt forbedre effektiviteten af AI‑beregning sammenlignet med GPU’er.

Test har vist, at nogle NPU‑præstationer er over 100 gange bedre end en tilsvarende GPU, med samme strømforbrug.

På grund af denne energieffektivitet er NPU’er populære hos producenter til at installere i bruger‑enheder, hvor de kan hjælpe med at udføre lokale opgaver for generative AI‑apps, et eksempel på “edge computing”. (se nedenfor for mere om dette emne).

Mange metoder er i øjeblikket under udforskning for at skabe neuromorfe chips:

• Udnytte indledende ferroelectricitet, et stadig dårligt forstået fænomen.
• Aktivt substrat ved brug af vanadium eller titanium.
• Brug af memristorer, en ny type elektronisk komponent, som kan udføre AI‑opgaver med 1/800^thaf det normale strømforbrug.

Hjælpebehandlingsenhed (XPUs)

XPU samler CPU (processor), GPU (grafikkort / parallelle processorer) og hukommelse i den samme elektroniske enhed.

Kilde: Broadcom

XPUs er et bredt begreb, der omfatter mange variationer af dette koncept med at samle al hardware i selvstændige enheder, inklusive Data Processing Units (DPUs), Infrastructure Processing Units (IPUs), og Function Accelerator Cards (FACs).

XPUs anses for at løse et voksende problem i AI‑datacentre, nemlig det stigende behov for forbindelse mellem underenheder, så data‑forsinkelse bliver en vigtig faktor, der bremser beregningen, mere end den tilgængelige beregningskraft.

Essentielt set venter chipsene (GPU’er, TPU’er, NPP’er osv.) på data lige så meget som de faktisk arbejder.

En leder inden for denne teknologi er Broadcom (AVGO ), som vi diskuterede i detaljer i en dedikeret investeringsrapport.

Field‑Programmable Gate Arrays (FPGA’er):

FPGA’er er programmerbare processorer, hvilket gør dem betydeligt mere fleksible og omkonfigurerbare end de mere stive ASIC’er. FPGA’er kan tilpasses specifikke AI‑algoritmer og kan potentielt tilbyde højere ydeevne og energieffektivitet.

Kilde: Microcontrollers Labs

Fleksibiliteten har en pris, da FPGA’er generelt er mere komplekse, dyre og forbruger mere elektricitet. De kan dog stadig være mere effektive end generel hardware.

Dette gør dem til et nicheprodukt, hvor deres fleksibilitet opvejer ulemperne. For eksempel kan maskinlæring, computer vision og naturlig sprogbehandling drage fordel af FPGA‑ernes alsidighed.

High Bandwidth Memory (HBM):

De vigtigste udviklinger inden for specialiseret AI‑centreret hardware har været inden for beregningskraft, som i lang tid har været flaskehalsen i opbygning af mere beregningskapacitet til at træne nye AI’er.

Alligevel har disse systemer også brug for høj‑effektive understøttelsessystemer, hvoraf hukommelse er en vigtig. HBM leverer, som navnet antyder, højere båndbredde end traditionel DRAM.

Det opnås ved at stable flere DRAM‑chips lodret og forbinde dem med through‑silicon vias (TSV’er). Den første generation af HBM blev udviklet i 2013.

Den vertikale stakning sparer plads og reducerer den fysiske afstand, som data skal rejse, hvilket accelererer dataoverførslen – et must i AI‑beregning.

HBM’er er mere komplekse at fremstille og dyrere end DRAM, men ydeevne‑ og energieffektivitetsfordelene retfærdiggør ofte den højere pris for AI‑applikationer.

AI‑datacenterinfrastruktur: Strøm, køling & forbindelse

Udover hukommelse og beregningskraft er de hjælpe‑systemer i AI‑datacentre også vigtige. Uden dem kan data ikke cirkulere hurtigt nok, chipsene vil overophede, eller den tilgængelige strøm vil være utilstrækkelig.

Det betyder, at f.eks. Broadcoms forbindelseshardware også drager stor fordel af opbygningen af AI‑datacentre, ligesom specialiserede løsninger som køleudstyrsleverandører, f.eks. Vertiv (VRT ) eller Schneider Electric (SU.PA).

Strømforsyningen kan også blive et problem, og flere teknologigiganter forsøger at løse det ved at satse på kernekraft, med det første skridt fra Microsoft i 2024, efterfulgt af mange andre siden da.

Kombineret med en forpligtelse fra teknologivirksomheder til at reducere AI‑s CO2‑aftryk, bør dette gavne virksomheder inden for kernekraft eller vedvarende energi, såsom Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ) eller Brookfield Energy Partners (BEP ) (følg linkene for en rapport om hver virksomhed).

Fremvoksende AI‑computing‑teknologier

Kvantem Computing

Da AI er så sulten efter beregningskraft, er det muligt, at fremtiden for feltets hardware ikke engang vil være med de nuværende tilgængelige siliciumløsninger.

En mulighed er, at kvantecomputing kan bruges til at opdage mønstre langt mere effektivt end klassisk computing nogensinde kunne, noget som allerede er blevet undersøgt af forskere.

Kvantem computing som helhed kan bruges til at løse nogle specifikke beregninger, der er næsten umulige med binær computing. Dette vil sandsynligvis i sidste ende blive anvendt på AI, men de første kommercielle kvantecomputere er stadig flere år væk, og et stort kvantenetværk er endnu længere væk.

Fotonik

Ved at bruge lys i stedet for elektroner til at overføre data, kan fotonik være meget hurtigere end elektroniske enheder.

Da kvantecomputere typisk bærer kvantedata med sammenfiltrede fotoner, er der også stor overlap mellem kvantecomputing og fotonik, og den første duale kvante‑fotonik‑chip er allerede blevet annonceret.

Organoider

Da de fleste AI’er i computere efterligner hjernens neurale netværks funktion, spekulerer nogle forskere på, om vi i stedet kunne bruge … faktiske hjerneceller.

Dette er en fascinerende idé, især da noget forskning kan indikere, at hjernen faktisk er en organisk kvantecomputer.

Denne type “computer” kaldes organoider og består i bund og grund af neuroner dyrket i et laboratorium på en computerchip. Neuronerne organiserer derefter selv deres dendritter og forbindelser som svar på chip‑stimuli.

Denne teknologi er stadig ny og bygger på bio‑3D‑printning.

Andre

Vi udforskede andre alternativer til silicium‑computing i “Top 10 Non‑Silicon Computing Companies”, såsom vanadiumdioxid, grafen, redox‑gating eller organiske materialer.

Hver af dem lover at være enten meget hurtigere eller meget mindre energikrævende end klassisk silicium‑baseret computing. De er dog stadig relativt nye og usandsynlige at revolutionere AI‑feltet i kommerciel skala, i hvert fald i de næste 5‑10 år.

Cloud AI og Edge AI: Tilgængelighedstendenser

Cloud AI

Da de mest kraftfulde AI‑systemer skabes af store teknologivirksomheder, er de fortrinsvis tilgængelige via skyen. Det samme gælder i stigende grad for adgang til AI‑specialiseret hardware.

Det ledende inden for denne tendens er Coreweave (CRCW ), en virksomhed der gik fra cloud‑udbyder til kryptomining med GPU’er, til i dag at levere on‑demand AI‑compute.

Dette gjorde CoreWeave til en nøglepartner for kommende AI‑startups, der forsøger at konkurrere med teknologigiganterne, som Inflection AI og dens $1.3B GPU‑cluster, finansieret af en frisk finansieringsrunde.

“To måneder siden kunne en virksomhed måske ikke have eksisteret, og nu kan de have $500 millioner i venturekapital.

Og det vigtigste for dem er at sikre adgang til beregning; de kan ikke lancere deres produkt eller starte deres forretning, før de har det,”

Brian Venturo – CoreWeave CTO

Efterhånden som den rene aktør inden for AI‑hardware bliver mistroisk over for, at de store teknologier selv producerer deres egne GPU’er, TPU’er, XPU’er osv. og udvikler sig fra kunder til konkurrenter, er det sandsynligt, at virksomheder som CoreWeave får prioriteret adgang til de nyeste hardwareudgivelser fra Nvidia og andre.

Dette forretningsmodel vil sandsynligvis være især vigtig for AI‑træning, som kræver langt mere beregningskapacitet end blot at bruge allerede trænede AI’er.

Edge Computing & AI‑PC’er

Et andet område inden for AI‑computing, der hurtigt udvikler sig, er behovet for at udføre AI‑systemernes beregning på stedet, så tæt som muligt på virkelige situationer.

Dette er et must for systemer, der måske ikke kan tolerere at blive frakoblet fra AI, hvis forbindelsen fejler, eller når latenstiden frem og tilbage til skyen er for langsom.

Et godt eksempel er selvkørende biler, som forventes at forstå deres omgivelser offline.

Denne type beregning kaldes edge computing og drager stor fordel af mere effektiv og mindre strømkrævende hardware.

Det kan øge AI‑pålideligheden, og efterhånden som modellerne bliver mere effektive, illustreret ved DeepSeeks fremskridt, kan det blive en mere udbredt model for AI‑implementering i fremtiden.

Af samme grund kan AI‑PC’er som den, der for nylig blev lanceret af Nvidia, på længere sigt være tilstrækkelige til at køre mange AI‑applikationer lokalt, hvilket øger privatliv og sikkerhed sammenlignet med altid forbundne cloud‑AI’er.

Konklusion

AI‑hardware har i en periode været næsten synonymt med GPU’er, da grafikkort var langt mere effektive til AI‑træning end andre hardwaretyper som CPU’er. Dette skabte formuen for Nvidia og mange af dets tidlige aktionærer.

GPU’er, især AI‑fokuserede “super‑GPU’er”, vil sandsynligvis forblive vigtige i opbygningen af AI‑datacentre. Men de vil udvikle sig til blot én komponent i stadig mere komplekse og specialiserede systemer.

Transformer‑operationer vil blive sendt til TPU’er, neurale netværk til NPP, gentagne opgaver til dedikerede ASIC’er eller omkonfigurerede FPGA’er.

Samtidig vil high‑bandwidth memory, avancerede telekommunikationsforbindelser og ultra‑effektiv køling holde alle de hjælpefunktioner omkring beregningskernen i gang.

For edge computing og mindre AI’er end de massive LLM’er vil lokal beregning, måske drevet af alt‑i‑en‑XPU’er, sandsynligvis blive brugt af forskere, selvkørende biler og brugere, der er bekymrede for privatliv eller censur, potentielt med open‑source AI‑modeller.

Hvad der er sikkert, er at overskuddet fra salg af “pick‑ og skovl‑udstyret” inden for AI‑hardware i AI‑guldfeberen langt fra er forbi.

Efter en periode med dominans fra Nvidia kan investorer ønske at diversificere risiciene ved at sprede deres AI‑hardware‑portefølje til andre designs, og måske endda de energiselskaber, der vil levere de dyrebare gigawatt til at drive de stadigt større og flere AI‑datacentre i verden.