Investering i AI-hardware: Fra CPU’er til XPUs

Investering i AI-hardware: Picks and Shovels-tilgang

AI lover at blive den vigtigste ændring i vores økonomi, produktive systemer og samfund i de seneste få årtier, potentielt gør selv de radikale ændringer, der er ført ind af internettet, til at synes ubetydelige i sammenligning.

Det kan få en hel kategori af job til at forsvinde, herunder chauffører, oversættere, kundesupport, webdesignere osv. Andre job kan opleve en radikal reduktion i efterspørgsel, som f.eks. programmører, jurastuderende, diagnostikere osv.

Det skal også skabe en masse ekstra værdi og produktivitet for mange andre opgaver, og de dominerende AI-softwarevirksomheder er sandsynligvis de første, der når markedsværdier, der tidligere var utænkelige.

Af alle disse grunde har kapitalmarkederne og investorerne været betaget af AI og betaler stor opmærksomhed til fremgangen hos de mange teknologigiganter i AI, samt den stærke konkurrence, der opstår fra kinesiske teknologigiganter som Alibaba og startups som DeepSeek.

En anden måde at spille AI-boomet på er at følge den strategi, der er kendt for at virke i hver guldrush: ikke søg efter guld, men sælg pick og skovle. Dette har bestemt virket for de virksomheder, der tilfældigt var i den bedste position til at sælge AI-optimeret hardware, med Nvidia (NVDA ), der har omdannet deres gaming-grafikkort til AI-træningschips, og er blevet verdens mest værdifulde virksomhed, med en markedsværdi på over $4 billioner (følg linket for en fuld rapport om Nvidia).

Fordi AI kræver meget specifik hardware, som er forskelligt fra andre tidligere former for computing-opgaver, og er så stor en forretningsmulighed, er halvlederindustrien nu i en kapløb for at udvikle nye former for hardware, der er specielt designet til træning og kørsel af AI-programmer.

Mens Nvidia sandsynligvis vil blive en af de top-virksomheder i sektoren, dukker der nu alternative muligheder op, der kan give interessante muligheder for investorer, der betaler opmærksomhed tidligt.

Hvorfor AI har brug for specialiseret hardware

Mange små beregninger

De første bestræbelser på AI brugte den samme beregningskapacitet som andre programmer, med fokus på processorer (Central Processing Unit – CPU’er). CPU’er er stadig vigtige, men det viste sig hurtigt, at de ikke er optimale til de fleste metoder, der bruges til at udvikle AI’er i dag.

Neurale netværk og andre lignende metoder kræver mange relativt simple beregninger, i stedet for en enkelt kompleks beregning. Så mange små chippen, der arbejder i parallel, er generelt bedre end en enkelt massiv og kraftfuld CPU.

Dette er til en stor del, hvorfor GPU’er hurtigt blev mere populære, da grafikkort er indbygget designet til at udføre tusindvis af små beregninger i parallel.

I dag er AI-træning i stor udstrækning baseret på neurale netværk, en koncept, der vandt Nobelprisen i fysik i 2024, en belønning, vi dækkede i detaljer i en dedikeret artikel på det tidspunkt.

Kilde: Nobelprisen

En anden revolution i AI-teknologi kom med “transformatorer”. De løser traditionelle neurale netværks evne til at effektivt behandle lange sekvenser af data, en almindelig egenskab ved naturligt sprog.

Først introduceret i 2017 af Google-forskere, er det årsagen til den nuværende eksplosion i AI-kapacitet. Transformatorer er i centrum af AI-produkter som LLM’er (Large Language Models), herunder ChatGPT.

Forskellige krav

En vigtig forskel i AI-arbejdsgange er forskellen mellem finjustering og inference, begge med forskellige hardware-krav.

• Finjustering involverer træning af en model på domænespecifik data, kræver betydelig beregningskraft og hukommelse. Det er en meget teknisk opgave, ofte på kanten af AI-videnskab.
• Inference fokuserer på at bruge en allerede trænet model til at generere output, kræver mindre beregningskraft, men en højere fokus på lav forsinkelse og omkostningseffektivitet.
  • Dette gøres mest af AI-eksperter, der udruller eksisterende modeller for at løse virkelige problemer.

Så selv om omkostninger er en bekymring for både finjustering/træning og inference/brug af AI, vil træning ofte kræve den bedste hardware mulig, mens brugsopgaver vil fokusere mere på hardware- og energiforbrugsomkostninger, når de vælger den bedste hardware-løsning.

CPU’er vs GPU’er

Central Processing Units (CPU’er):

CPU’er er generelle og ikke specifikke AI-hardware. De er dog stadig essentielle for at udføre instruktioner og udføre grundlæggende beregninger i AI-systemer.

De fleste af de software, der håndterer grænsefladen med de endelige brugere af et AI-system, vil også være CPU-centrisk, enten det er enkeltcomputere eller cloud-baseret software.

Kilde: AnandTech

CPU’er kan også bruges til meget simple AI’er, hvor dedikeret hardware ikke er nødvendigt. Dette er især sandt, når output ikke er særlig presserende, og den relativt langsomme AI-bearbejdning af CPU’er ikke er et problem.

Så små modeller med små batch af data og beregning kan fungere godt på CPU’er. CPU’ernes almindelige tilstedeværelse i almindelige computere gør det også til en god mulighed for en gennemsnitlig bruger, der ikke er villig til at investere i AI-specifik hardware.

CPU’er er også meget pålidelige og stabile, hvilket gør dem til en god valg for kritiske opgaver, hvor ingen fejl er et vigtigt kriterium.

Endelig er CPU’er nyttige til nogle af opgaverne i AI-træning, generelt i samarbejde med andre typer hardware, som f.eks. data-indlæsning, formatering, filtrering og visualisering.

Graphics Processing Units (GPU’er):

Oprindeligt designet til grafik-rendering, er GPU’er designet til parallel processing, hvilket gør dem ideelle til træning af AI-modeller, der kræver håndtering af store datasæt. Skift fra CPU’er til GPU’er har reduceret træningstider fra uger til timer.

På grund af deres almindelige tilgængelighed og IT-eksperternes erfaring med at arbejde med dem, var GPU’er den første type computing-hardware, der blev installeret i serier for at skala op AI-forskning.

Kilde: Aorus

Ligeledes var udviklingen af CUDA af Nvidia, en generel programmeringsgrænseflade for NVIDIA’s GPU’er, åbningen for andre formål end gaming. Dette blev gjort, fordi nogle forskere allerede brugte GPU’er til at udføre beregninger i stedet for de sædvanlige supercomputere.

“Forskere indså, at ved at købe dette gaming-kort kaldet GeForce, og tilføje det til din computer, har du essentielt en personlig supercomputer.

Molekylær dynamik, seismisk proces, CT-rekonstruktion, billedbehandling – en hel masse forskellige ting.”

Jensen Huang, i et interview med Sequoia

I dag er GPU’er stadig blandt de mest efterspurgte typer af AI-hardware, med Nvidia, der knap kan producere nok til at tilfredsstille efterspørgslen fra teknologigiganter, der bygger gigawatt-storskala AI-datacentre.

Det er også begyndelsen på “super GPU-æraen”, med den seneste udgivelse af Nvidia af GB200 NVL72.

Dette hardware er designet til at fungere som en enkelt massiv GPU lige fra fabrikken, i stedet for at skulle netværke mange små. Det gør det langt kraftigere end selv den tidligere rekordbrydende H100-model.

Kilde: Nvidia

Dette burde også være langt mere energi-effektivt, et afgørende punkt, da AI-industrien måske først når grænsen for energi end for chip-kapacitet, på det tempo, hvormed AI-datacentre bygges. Og mere computing- og energi-effektivitet betyder mindre spildvarme, hvilket midlertidigt løser overvarmingsproblemet.

Opkomsten af ASIC’er og AI-hardware

Application-Specific Integrated Circuits (ASIC’er) er computing-hardware designet specifikt til en given computing-opgave, hvilket gør dem endnu mere specialiserede end selv relativt generaliserede GPU’er.

De er mindre fleksible og programmerbare end general-purpose hardware.

Som regel er de mere komplekse. De er også generelt mere dyre, både på grund af manglen på skalamæssige økonomier for deres produktion og omkostningerne ved brug af brugerdefinerede designs.

De er dog meget mere effektive til deres given opgave, normalt producerer en output hurtigere med langt mindre spild af computing-kraft og energi.

ASIC’er og anden AI-specifik hardware er på vej op i anvendelse, da feltet gradvist bemærker, at nogle beregninger ikke ideelt udføres på GPU’er, men kræver mere specialiseret udstyr.

Tensor Processing Units (TPU’er)

TPU’er blev udviklet af Google (GOOGL ) specifikt til at udføre tensor-beregninger (i forbindelse med transformator-baseret beregning). De er optimeret til høj gennemstrømning, lav præcision og aritmetik.

Kilde: C#Corner

Dette giver TPU’er høj ydelse, effektivitet og skalerbarhed til træning af store neurale netværk.

TPU’er har specialiserede funktioner, såsom matrix multiply unit (MXU) og proprietær interconnect-topologi, der gør dem ideelle til at accelerere AI-træning og inference.

TPU’er driver Gemini, og alle Googles AI-drevne applikationer som Search, Photos og Maps, der betjener over 1 milliard brugere.

Dette hardwaretype kan betydeligt accelerere udviklingen og funktionsmåden af neurale netværk, hvor den lejlighedsvise fejl er mindre betydelig, da disse modeller er højst afhængige af statistik og en stor mængde beregninger for at begynde med.

Blandt de end-brugertilfælde, der bedst passer til TPU’er, er dyb læring, talegenkendelse og billedklassifikation.

Neural Network Processorer (NPP’er):

Ligeledes forbundet med Neural Processing Units (NPU’er) og kaldet neuromorfe chip, er NPP’er specialiseret i neurale netværksberegning, designet til at efterligne de neurale forbindelser i det menneskelige hjerte. De kaldes også AI-accelerator, selv om denne betegnelse er mindre defineret.

En NPU vil også integrere lagring og beregning gennem synaptiske vægte. Så den kan justere eller “lære” over tid, hvilket fører til forbedret operativ effektivitet.

En NPU inkluderer specifikke moduler til multiplication og addition, aktiveringsfunktioner, 2D-dataoperationer og dekompression.

Det specialiserede multiplications- og additionsmodul bruges til at udføre operationer, der er relevante for behandling af neurale netværksapplikationer, såsom beregning af matrixmultiplication og addition, convolution, dot produkt og andre funktioner.

Specialiseringen kan hjælpe en NPU med at fuldføre en operation med kun én beregning i stedet for flere tusinde med en generaliseret hardware. F.eks. hævder IBM, at NPU kan radikalt forbedre effektiviteten af AI-beregning i forhold til GPU’er.

“Test har vist, at nogle NPU-præstationer er over 100 gange bedre end en sammenlignelig GPU, med samme effektforbrug.”

På grund af denne energi-effektivitet er NPU’er populære hos fabrikanter til at installere i brugerenheder, hvor de kan hjælpe med at udføre lokale opgaver for generative AI-applikationer, et eksempel på “edge computing”. (se nedenfor for mere om dette emne).

Mange metoder bliver i øjeblikket udforsket i, hvordan man kan skabe neuromorfe chip:

• Udnytte incipient ferroelektricitet, et fænomen, der endnu ikke er godt forstået.
• Aktivt substrate ved hjælp af vanadium eller titan.
• Brug af memristorer, en ny type elektronisk komponent, der kan udføre AI-opgaver med 1/800^tedel af den normale effektforbrug.

Auxiliary Processing Unit (XPU)

XPU kombinerer CPU (processor), GPU (grafikkort / parallelprocessorer) og hukommelse i samme elektroniske enhed.

Kilde: Broadcom

XPU er en bred betegnelse, der omfatter mange variationer af denne koncept, der bringer alle hardware-komponenterne sammen i selvstændige enheder, herunder Data Processing Units (DPU’er), Infrastructure Processing Units (IPU’er) og Function Accelerator Cards (FAC’er).

XPU’er ses som en løsning på et voksende problem i AI-datacentre, der er det voksende behov for forbindelse mellem underenhederne, så dataforsinkelse bliver en vigtig faktor i at langsommere computing, mere end den tilgængelige computing-kraft.

Det er essentielt, at chippen (GPU’er, TPU’er, NPP’er osv.) venter på data lige så meget som de faktisk arbejder.

En leder inden for denne teknologi er Broadcom (AVGO ), som vi diskuterede i detaljer i en dedikeret investeringsrapport.

Field-Programmable Gate Arrays (FPGA’er):

FPGA’er er programmerbare processorer, der gør dem betydeligt mere fleksible og omkonfigurerbare end de mere stive ASIC’er. FPGA’er kan tilpasses til specifikke AI-algoritmer, potentielt tilbyde højere ydelse og energi-effektivitet.

Kilde: Microcontrollers Labs

Fleksibiliteten kommer til en pris, da FPGA’er generelt er mere komplekse, dyre og forbruger mere elektricitet. De kan dog stadig være mere effektive end generaliseret hardware.

Dette gør dem til en niche-produkt, hvor deres fleksibilitet kompenserer for ulemperne. F.eks. kan maskinlæring, computer-vision og naturlig sprogbehandling drage fordel af FPGA’ers fleksibilitet.

High Bandwidth Memory (HBM):

De vigtigste udviklinger i brugerdefineret AI-centrisk hardware har været inden for feltet computing-kraft, der i lang tid har været flaskenhalen i opbygning af mere computing-kapacitet til at træne nye AI’er.

Men disse systemer har brug for høj-effektiv støttesystemer, herunder hukommelse. HBM giver, som navnet antyder, højere båndbredde end traditionel DRAM.

Dette opnås ved at stable flere DRAM-die lodret og forbinde dem med gennem-silicon-vias (TSV’er). Den første generation af HBM blev udviklet i 2013.

Den vertikale stablet sparer plads og reducerer den fysiske afstand, dataene skal rejse, hvilket accelererer dataoverførslen, en nødvendighed i AI-computing.

HBM’er er mere komplekse at producere og dyre end DRAM, men ydelses- og energi-effektivitetsfordele kan ofte retfærdiggøre den højere omkostning for AI-applikationer.

AI Data Center Infrastructure: Power, Cooling & Connectivity

Ud over hukommelse og computing-kraft er de auxiliære systemer i AI-datacentre også vigtige. Uden dem kan data ikke cirkulere hurtigt nok, chippen ville overhede, eller den tilgængelige effekt ville være utilstrækkelig.

Dette betyder, at f.eks. Broadcom’s connectivity-hardware også drager stor fordel af AI-datacenter-opbygning, ligesom specialiserede løsninger som køleudstyr-leverandører, f.eks. Vertiv (VRT ) eller Schneider Electric (SU.PA).

Effekttilførsel kan også blive et problem, og flere teknologigiganter forsøger at tackle problemet ved at satse på kerneenergi, med den første bevægelse af Microsoft i 2024, efterfulgt af mange andre siden.

Kombineret med et løfte om at reducere AI’s kulstofaftryk hos teknologivirksomheder, burde dette give stor fordel for virksomheder i kerne- eller fornybar energisektoren, som f.eks. Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ) eller Brookfield Energy Partners (BEP ) (følg linkene for en rapport om hver virksomhed).

Emerging AI Computing Technologies

Quantum Computing

Fordi AI er så sulten efter computing-kraft, er det muligt, at fremtiden for feltets hardware ikke længere er med de nuværende tilgængelige siliciumløsninger.

En mulighed er, at kvante-computing kunne bruges til at opdage mønstre langt mere effektivt end klassisk computing nogensinde kunne, noget, der allerede er udforsket af forskere.

Kvante-computing som helhed kan bruges til at løse bestemte beregninger, der er næsten umulige med binær computing. Dette vil sandsynligvis til sidst blive anvendt på AI, men de første kommercielle kvante-computere er stadig få år væk, og et stort kvante-netværk endnu længere væk.

Photonics

Ved at bruge lys i stedet for elektroner til at bære data, kan photonics være langt hurtigere end elektroniske enheder.

Fordi kvante-computere normalt bærer kvante-data med forbundne fotoner, er der også meget overlap mellem kvante-computing og photonics, og den første dual kvante-photonic chip er allerede blevet annonceret.

Organoids

Da de fleste AI’er replikerer i computere det fungerende af hjernens neurale netværk, undrer nogle forskere, om man ikke kunne bruge … faktiske hjerneceller.

Dette er en interessant idé, især da noget forskning kunne antyde, at hjernen faktisk er en organisk kvante-computer.

Denne type “computer” kaldes organoids, og består essentielt af neuroner, der vokser i en laboratorie på en computerchip. Neuronerne selvorganiserer derefter deres dendritter og forbindelser i respons til chip-stimuli.

Denne teknologi er stadig ny og afhænger af bio-3D-printing.

Andre

Vi udforskede andre alternativer til silicium-computing i “Top 10 Non-Silicon Computing Companies”, såsom vanadiumdioxyd, grafen, redox-gating eller organiske materialer.

Hver af disse lover enten at være langt hurtigere eller langt mindre energi-intensiv end klassisk silicium-baseret computing. De er dog stadig relativt nye og usandsynligt at revolutionere AIfeltet i kommerciel skala, i det mindste ikke i de næste 5-10 år.

Cloud AI og Edge AI: Tilgængelighedstrends

Cloud AI

Da de mest kraftfulde AI-systemer er lavet af store teknologivirksomheder, er de mest tilgængelige via cloud-computing. Det samme er ved at blive sandt for adgang til AI-specifik hardware selv.

Lederen af denne trend er Coreweave (CRCW ), en virksomhed, der flyttede fra cloud-udbyder til cryptocurrency-mining ved hjælp af GPU’er, til i dag at tilbyde påkrævet AI-computing.

Dette gjorde CoreWeave til en nøglepartner for opkommende AI-startups, der forsøger at konkurrere med teknologigiganterne, som f.eks. Inflection AI og dens $1,3 milliarder GPU-cluster, finansieret af en frisk finansieringsrunde.

“For to måneder siden, kunne en virksomhed måske ikke have eksisteret, og nu kan de have $500 millioner i venturekapital-finansiering.

Og det vigtigste, de skal gøre, er at sikre adgang til computing; de kan ikke lancere deres produkt eller forretningsidé, før de har det,”

Brian Venturo – CoreWeave CTO

Da de rene spillere i AI-hardware bliver forsigtige med, at store teknologivirksomheder producerer deres egne GPU’er, TPU’er, XPU’er osv. og udvikler sig fra kunder til konkurrenter, er det sandsynligt, at virksomheder som CoreWeave vil få prioriteret adgang til de seneste hardware-udgivelser fra Nvidia og andre.

Denne forretningsmodel vil sandsynligvis være særligt vigtig for AI-træning, der er langt mere krævende i computing-kapacitet end blot at bruge allerede trænede AI’er.

Edge Computing & AI-PC’er

En anden case af AI-computing, der hurtigt udvikler sig, er behovet for at have AI-systemernes computing udført på stedet, så tæt på virkelige situationer som muligt.

Dette er en nødvendighed for systemer, der ikke kan tolerere at være afbrudt fra AI, hvis forbindelsen fejler, eller når forsinkelsen af frem og tilbage med cloud-computing er for langsom.

Et godt eksempel er selv kørende biler, der forventes at udføre forståelse af deres omgivelser offline.

Denne type beregning kaldes edge computing, og drager stor fordel af mere effektiv og mindre energi-krævende hardware.

Det kan øge AI-pålideligheden, og da modeller bliver mere effektive, illustreret af springet fremad for DeepSeek, kan det måske blive en mere udbredt model for AI-udvikling i fremtiden.

Af samme grund kan AI-PC’er som det nyligt lancerede af Nvidia, måske på længere sigt være nok til at køre mange AI-applikationer lokalt, og øge privatliv og sikkerhed i forhold til altid-at-tilslutte-cloud-AI’er.

Konklusion

AI-hardware har i længe været næsten synonymt med GPU’er, da grafikkort var langt mere effektive til AI-træning end andre typer hardware som CPU’er. Dette gjorde Nvidias og mange af dets tidlige aktieejeres formue.

GPU’er, især AI-fokuserede “super GPU’er”, er sandsynligvis gået til at blive vigtige i opbygningen af AI-datacentre. Men de vil udvikle sig til bare en af komponenterne i stadig mere komplekse og specialiserede systemer.

Transformator-operationer vil blive sendt til TPU’er, neurale netværk til NPP, gentagne opgaver til dedikeret ASIC’er eller omkonfigurerede FPGA’er.

Mens høj-båndbredde hukommelse, avancerede telekommunikationsforbindelser og ultra-effektive kølesystemer holder alle de auxiliære funktioner omkring computing-kernen kørende.

Til edge computing og mindre AI’er end de massive LLM’er vil lokal computing, måske drevet af alle-i-én XPU’er, sandsynligvis blive brugt af videnskabsmænd, selv kørende biler og brugere, der er bekymrede for privatliv eller censur, potentielt med åbne AI-modeller.

Hvad der er sikker, er, at profitterne fra at sælge “picks and shovels” i AI-hardware-boomet er langt fra overstået.

Efter en periode med dominans fra Nvidia, kan investorer måske ønske at diversificere risici ved at sprede deres AI-hardware-portefølje til andre designs, og måske endda de energiselskaber, der vil levere de dyrebare gigawatt til at køre de stadig større og talrige AI-datacentre i verden.