Investering i AI-maskinvare: Fra CPUer til XPUs

Investering i AI-maskinvare: Tilnærming med hakker og spader

AI ser ut til å bli den viktigste endringen i vår økonomi, produktive systemer og samfunn de siste tiårene, og kan potensielt gjøre selv de radikale endringene som Internett brakte, trivielle i sammenligning.

Det kan få en hel yrkeskategori til å forsvinne, inkludert sjåfører, oversettere, kundeservice, nettdesignere osv. Andre yrker kan oppleve en radikal reduksjon i etterspørselen, som programmerere, nyutdannede advokater, diagnostikere osv.

Det bør også skape mye ekstra verdi og produktivitet for mange andre oppgaver, med de dominerende AI-programvareselskapene sannsynligvis som de første til å nå markedsverdier som tidligere var utenkelige.

Av alle disse grunnene har kapitalmarkedene og investorer blitt fascinert av AI og gir stor oppmerksomhet til fremdriften til de mange teknologigigantene innen AI, samt den sterke konkurransen fra kinesiske teknologigiganter som Alibaba og oppstartsbedrifter som DeepSeek.

En annen måte å dra nytte av AI-boomen på er å følge strategien som fungerer i hver gullrushet: ikke let etter gull, men selg hakker og spader. Dette har definitivt fungert for selskapene som tilfeldigvis var i den beste posisjonen til å selge AI-optimalisert maskinvare, med Nvidia (NVDA ) som har gjort sine spillgrafikkort om til AI‑treningsbrikker, og gjort den til verdens mest verdifulle selskap, med en overraskende markedsverdi på $4 billioner (følg lenken for en full rapport om Nvidia).

Fordi AI krever svært spesifikk maskinvare, som stort sett er forskjellig fra andre tidligere former for beregningsoppgaver, og er en så massiv forretningsmulighet, er halvlederindustrien nå i et kappløp om å utvikle nye former for maskinvare designet spesielt for trening og kjøring av AI‑programmer.

Selv om Nvidia sannsynligvis vil forbli et av de ledende selskapene i sektoren, dukker nå alternativer opp som kan gi interessante muligheter for investorer som følger med tidlig.

Hvorfor AI trenger spesialisert maskinvare

Mange små beregninger

De første AI‑forsøkene brukte samme beregningskapasitet som andre programmer, med hovedfokus på prosessorer (Central Processing Unit – CPUer). CPUer er fortsatt viktige, men det ble raskt tydelig at de ikke er optimale for de fleste metodene som nå brukes til å utvikle AI.

Nevrale nettverk og andre lignende metoder krever mange relativt enkle beregninger, i stedet for én svært kompleks beregning. Så mange mindre brikker som arbeider parallelt er generelt bedre enn massive og kraftige CPUer.

Dette er i stor grad grunnen til at GPUer raskt ble mer populære, siden grafikkort er iboende designet for å utføre tusenvis av mindre beregninger parallelt.

Dagens AI‑trening er i stor grad basert på nevrale nettverk, et konsept som vant Nobelprisen i fysikk i 2024, en belønning vi dekket i detalj i en dedikert artikkel på den tiden.

Kilde: Nobel Prize

En annen revolusjon innen AI‑teknologi kom med «transformere». De løser tradisjonelle nevrale nettverkers uførhet til å effektivt behandle lange datasekvenser, en vanlig egenskap ved naturlig språk.

Først introdusert i 2017 av Google-forskere, er den årsaken til den nåværende eksplosjonen i AI‑kapasitet. Transformere er kjernen i AI‑produkter som LLM‑er (Large Language Models), inkludert ChatGPT.

Ulike krav

En viktig forskjell i AI‑arbeidsflyter er forskjellen mellom finjustering og inference, som begge har ulike maskinvarekrav.

• Finjustering innebærer å trene en modell på domene‑spesifikk data, og krever betydelig datakraft og minne. Det er en svært teknisk oppgave, ofte i spissen av AI‑vitenskapen.
• Inference fokuserer på å bruke en allerede trent modell for å generere resultater, krever mindre beregningskraft, men har større vekt på lav latens og kostnadseffektivitet.
  • Dette gjøres oftere av AI‑eksperter som distribuerer eksisterende modeller for å løse virkelige problemer.

Så, mens kostnader åpenbart er en bekymring både for finjustering/trening og for inference/bruk av AI, vil trening ofte kreve den beste maskinvaren som er tilgjengelig, mens bruksoppgaver vil fokusere mer på maskinvarekostnader og energiforbruk når man velger det beste alternativet.

CPUer vs GPUer

Sentralprosessorer (CPUer):

CPUer er generelle og ikke spesifikt AI‑maskinvare. De er imidlertid fortsatt essensielle for å utføre instruksjoner og utføre grunnleggende beregninger i AI‑systemer.

Mesteparten av programvaren som håndterer grensesnittet til sluttbrukerne av et AI‑system vil også være CPU‑sentral, enten det er individuelle datamaskiner eller skybasert programvare.

Kilde: AnandTech

CPUer kan også brukes til svært enkle AI‑er, hvor dedikert maskinvare ikke er nødvendig. Dette gjelder spesielt når resultatet ikke er presserende, og den relativt langsommere AI‑behandlingen på CPUer ikke er et problem.

Dermed kan små modeller med små datapartier og beregninger fungere bra på CPUer. Den allestedsnærværende tilstedeværelsen av CPUer i vanlige datamaskiner gjør dem også til et godt alternativ for en gjennomsnittlig bruker som ikke ønsker å investere i AI‑spesifikk maskinvare.

CPUer er også svært pålitelige og stabile, noe som gjør dem til et godt valg for kritiske oppgaver hvor ingen feil er et viktig kriterium.

Til slutt er CPUer nyttige for noen av oppgavene i AI‑trening, vanligvis i samarbeid med andre typer maskinvare, som datalasting, formatering, filtrering og visualisering.

Grafikkprosessorer (GPUer):

Opprinnelig designet for grafikkrendering, er GPUer laget for parallell prosessering, noe som gjør dem ideelle for å trene AI‑modeller som krever håndtering av store datasett. Overgangen fra CPUer til GPUer har redusert treningstiden fra uker til timer.

På grunn av deres brede tilgjengelighet og IT‑spesialistenes erfaring med dem, var GPUer den første typen datamaskinmaskinvare som ble installert i serie for å skalere opp AI‑forskning.

Kilde: Aorus

Også viktig for GPUenes suksess var utviklingen av CUDA av Nvidia, et generelt programmeringsgrensesnitt for NVIDIAs GPUer, som åpnet døren for andre bruksområder enn spilling. Dette ble gjort fordi noen forskere allerede brukte GPUer til å utføre beregninger i stedet for de vanlige superdatamaskinene.

«Forskerne innså at ved å kjøpe dette spillkortet kalt GeForce, legger du det til datamaskinen din, og du har i praksis en personlig superdatamaskin.

Molekylær dynamikk, seismisk prosessering, CT‑rekonstruksjon, bildebehandling – en hel rekke ulike ting.

Jensen Huang, i et intervju med Sequoia

I dag er GPUer fortsatt blant de mest ettertraktede typene AI‑maskinvare, med Nvidia som knapt klarer å produsere nok til å møte etterspørselen fra teknologigiganter som bygger AI‑datasentre i gigawatt‑skala.

Det er også begynnelsen på «super‑GPU‑æraen», med den nylige lanseringen fra Nvidia av GB200 NVL72.

Denne maskinvaren er designet for å fungere som en enkelt massiv GPU rett fra fabrikken, i stedet for å måtte nettverke mange små. Den gjør den mye kraftigere enn selv den tidligere rekordbrytende H100‑modellen.

Kilde: Nvidia

Dette bør også være mye mer energieffektivt, et kritisk punkt ettersom AI‑industrien kan gå tom for energi før den går tom for brikker i den hastigheten AI‑datasentre bygges. Mer beregning‑ og energieffektivitet betyr mindre varmetap, noe som midlertidig løser overopphetingsproblemet også.

Fremveksten av ASICer og AI‑maskinvare

Application‑Specific Integrated Circuits (ASICer) er datamaskinmaskinvare designet spesielt for en gitt beregningsoppgave, noe som gjør dem enda mer spesialiserte enn fortsatt relativt generelle GPUer.

Dermed er de mindre fleksible og programmerbare enn generell maskinvare.

Som regel er de mer komplekse. De er også generelt dyrere, både på grunn av mangel på stordriftsfordeler i produksjonen og kostnaden ved tilpassede design.

De er imidlertid mye mer effektive i sin spesifikke oppgave, produserer vanligvis et resultat raskere med mye mindre bortkastet beregningskraft og energi.

ASICer og annen AI‑spesifikk maskinvare får økende bruk, ettersom feltet gradvis oppdager at noen beregninger ikke er ideelt utført på GPUer, men krever mer spesialisert utstyr.

Tensor‑behandlingsenheter (TPUer)

TPUer ble utviklet av Google (GOOGL ) spesielt for å utføre tensorberegninger (knyttet til transformer‑basert kalkulasjon). De er optimalisert for høy gjennomstrømning og lav‑presisjon aritmetikk.

Kilde: C#Corner

Dette gir TPUer høy ytelse, effektivitet og skalerbarhet for trening av store nevrale nettverk.

TPUer har spesialiserte funksjoner, som matrix‑multiplikasjonsenheten (MXU) og proprietær interkonnekt‑topologi, som gjør dem ideelle for å akselerere AI‑trening og inference.

TPUer driver Gemini, og alle Googles AI‑drevne applikasjoner som Search, Photos og Maps, som betjener over 1 milliard brukere.

Denne maskinvaren kan betydelig øke hastigheten på utviklingen og driften av nevrale nettverk, hvor sporadiske feil er mindre betydningsfulle, ettersom disse modellene er sterkt avhengige av statistikk og et stort antall beregninger fra starten av.

Blant sluttbrukeroppgavene som passer best for TPUer er dyp læring, talegjenkjenning og bildklassifisering.

Nevrale nettverksprosessorer (NNP‑er):

Også knyttet til Neural Processing Units (NPU‑er) og kalt nevromorfe brikker, er NPPer spesialiserte på beregning av nevrale nettverk, designet for å etterligne de nevrale forbindelsene i den menneskelige hjerne. De blir også noen ganger kalt en AI‑akselerator, selv om dette begrepet er mindre veldefinert.

En NPU vil også integrere lagring og beregning gjennom synaptiske vekter. Dermed kan den justere eller «lære» over tid, noe som fører til forbedret operasjonell effektivitet.

En NPU inkluderer spesifikke moduler for multiplikasjon og addisjon, aktiveringsfunksjoner, 2D‑dataoperasjoner og dekomprimering.

Den spesialiserte multiplikasjons‑ og addisjonsmodulen brukes til å utføre operasjoner relevante for behandling av nevrale nettverksapplikasjoner, som beregning av matrix‑multiplikasjon og addisjon, konvolusjon, prikkprodukt og andre funksjoner.

Spesialiseringen kan hjelpe en NPU med å fullføre en operasjon med kun én beregning i stedet for flere tusen med generell maskinvare. For eksempel påstår IBM at NPU kan radikalt forbedre effektiviteten i AI‑beregning sammenlignet med GPUer.

«Testing har vist at noen NPU‑ytelser er over 100 ganger bedre enn en sammenlignbar GPU, med samme strømforbruk.»

På grunn av denne energieffektiviteten er NPUer populære blant produsenter for å installere i bruker‑enheter, hvor de kan hjelpe med å utføre oppgaver lokalt for generative AI‑apper, et eksempel på «edge computing». (se nedenfor for mer om dette temaet).

Mange metoder utforskes for tiden for hvordan man kan lage nevromorfe brikker:

• Utnytte innledende ferroelectricitet, et fortsatt dårlig forstått fenomen.
• Aktivt substrat med vanadium eller titan.
• Bruke memristorer, en ny type elektronisk komponent, som kan utføre AI‑oppgaver ved 1/800^thav normal strømforbruk.

HjelpebehandlingsProsess Unit (XPUs)

XPU samler CPU (prosessor), GPU (grafikkort / parallelle prosessorer) og minne i samme elektroniske enhet.

Kilde: Broadcom

XPUs er et bredt begrep som omfatter mange varianter av dette konseptet med å samle all maskinvare i selvstendige enheter, inkludert Data Processing Units (DPUs), Infrastructure Processing Units (IPUs), og Function Accelerator Cards (FACs).

XPUs anses som en løsning på et voksende problem i AI‑datasentre, nemlig det økende behovet for tilkobling mellom underenhetene, til det punktet hvor datalagringsforsinkelse blir en viktig faktor som bremser beregning, mer enn tilgjengelig beregningskraft.

I hovedsak venter brikkene (GPUer, TPUer, NPPer osv.) på data like mye som de faktisk arbeider.

En leder innen denne teknologien er Broadcom (AVGO ), som vi diskuterte i detalj i en dedikert investeringsrapport.

Field‑Programmable Gate Arrays (FPGAer):

FPGAer er programmerbare prosessorer, noe som gjør dem betydelig mer fleksible og omkonfigurerbare enn de mer stive ASIC‑ene. FPGAer kan tilpasses spesifikke AI‑algoritmer, og potensielt tilby høyere ytelse og energieffektivitet.

Kilde: Microcontrollers Labs

Fleksibiliteten kommer med en pris, da FPGAer generelt er mer komplekse, dyre og bruker mer strøm. De kan imidlertid fortsatt være mer effektive enn generell maskinvare.

Dette gjør dem til et nisjeprodukt, hvor deres fleksibilitet kompenserer for ulempene. For eksempel kan maskinlæring, datavisjon og naturlig språkbehandling dra nytte av FPGAers allsidighet.

Høy båndbredde‑minne (HBM):

De viktigste utviklingene innen tilpasset AI‑sentral maskinvare har vært innen beregningskraft, som lenge har vært flaskehalsen i å bygge mer beregningskapasitet for å trene nye AI‑er.

Likevel trenger disse systemene også høy‑effektive støttesystemer, hvor minne er en viktig komponent. HBM gir, som navnet antyder, høyere båndbredde enn tradisjonell DRAM.

Det oppnås ved å stable flere DRAM‑die vertikalt og koble dem med through‑silicon vias (TSV‑er). Den første generasjonen av HBM ble utviklet i 2013.

Den vertikale staplingen sparer plass og reduserer den fysiske avstanden dataene må reise, noe som øker dataoverføringshastigheten – et must i AI‑beregning.

HBM er mer komplekse å produsere og dyrere enn DRAM, men ytelses‑ og energieffektivitetsfordelene rettferdiggjør ofte den høyere kostnaden for AI‑applikasjoner.

AI‑datasenter‑infrastruktur: Strøm, kjøling & tilkobling

I tillegg til minne og beregningskraft er de hjelpesystemene i AI‑datasentre også viktige. Uten dem kan ikke dataene sirkulere raskt nok, brikkene vil overopphetes, eller den tilgjengelige strømmen vil være utilstrekkelig.

Dette betyr at for eksempel Broadcom‑tilkoblingsmaskinvare også drar stor nytte av oppbyggingen av AI‑datasentre, likt som spesialiserte løsninger som leverandører av kjøleutstyr, for eksempel Vertiv (VRT ) eller Schneider Electric (SU.PA).

Strømforsyning kan også bli et problem, og flere teknologigiganter prøver å løse dette ved å satse på kjernekraft, med det første trekket fra Microsoft i 2024 (MSFT ), etterfulgt av mange andre siden da.

Kombinert med et engasjement fra teknologiselskaper for å redusere AI‑s karbonavtrykk, bør dette gi stor nytte for selskaper i kjerne- eller fornybar energisektor, som Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), eller Brookfield Energy Partners (BEP ) (følg lenkene for en rapport om hvert selskap).

Fremvoksende AI‑beregningsteknologier

Kvanteregning

Fordi AI er så sulten på beregningskraft, er det mulig at fremtiden for feltets maskinvare ikke engang vil være med de nåværende silisiumløsningene.

En mulighet er at kvanteregning kan brukes til å oppdage mønstre mye mer effektivt enn klassisk beregning noen gang kunne, noe som allerede er utforsket av forskere.

Kvanteregning som helhet kan brukes til å løse noen spesifikke beregninger som er nesten umulige med binær beregning. Dette vil sannsynligvis til slutt bli anvendt på AI, men de første kommersielle kvantedatamaskinene er fortsatt noen år unna, og et stort kvantenettverk enda lenger unna.

Fotonikk

Ved å bruke lys i stedet for elektroner til å overføre data, kan fotonikk være mye raskere enn elektroniske enheter.

Fordi kvantedatamaskiner vanligvis bærer kvantedata med sammenfiltrede fotoner, er det også mye overlapp mellom kvanteregning og fotonikk, og det første duale kvante‑fotoniske brikket er allerede kunngjort.

Organoider

Ettersom mest AI i datamaskiner etterligner hjernens nevrale nettverk, lurer noen forskere på om vi i stedet kunne bruke … faktiske hjerneceller.

Dette er en fascinerende idé, spesielt siden noen forskning kan indikere at hjernen faktisk er en organisk kvantedatamaskin.

Denne typen «datamaskin» kalles organoider, og består i hovedsak av nevroner dyrket i et laboratorium på en databrikke. Nevronene organiserer deretter selv sine dendritter og forbindelser som respons på brikkens stimulus.

Denne teknologien er fortsatt ny og baserer seg på bio‑3D‑utskrift.

Andre

Vi utforsket andre alternativer til silisium‑beregning i «Topp 10 selskaper innen ikke‑silisium‑beregning», som vanadiumdioxid, grafen, redoks‑gating eller organiske materialer.

Hver av dem lover å være enten mye raskere eller mye mindre energikrevende enn klassisk silisium‑basert beregning. De er imidlertid fortsatt relativt nye og usannsynlige å revolusjonere AI‑feltet i kommersiell skala, i det minste de neste 5‑10 årene.

Sky‑AI og Edge‑AI: Tilgjengelighetstrender

Sky‑AI

Ettersom de mest kraftfulle AI‑systemene er laget av store teknologiselskaper, er de for det meste tilgjengelige via skyen. Det samme blir sant for tilgang til AI‑spesialisert maskinvare.

Lederen av denne trenden er Coreweave (CRCW ), et selskap som gikk fra sky‑leverandør til kryptovaluta‑mining med GPUer, til i dag å tilby AI‑beregning på forespørsel.

Dette gjorde CoreWeave (CRWV ) til en nøkkelpartner for kommende AI‑oppstartsbedrifter som prøver å konkurrere med teknologigigantene, somInflection AI og deres $1,3 milliarder GPU‑klynge, finansiert av en ny investeringsrunde.

«For to måneder siden kan det ha vært at selskapet ikke eksisterte, og nå kan de ha $500 millioner i risikokapitalfinansiering.

Og det viktigste for dem er å sikre tilgang til beregning; de kan ikke lansere produktet eller starte virksomheten før de har det,»

Brian Venturo – CoreWeave CTO

Etter hvert som den rene aktøren innen AI‑maskinvare blir skeptisk til at store teknologiselskaper produserer sine egne GPUer, TPUer, XPUer osv. og utvikler seg fra kunder til konkurrenter, er det sannsynlig at selskaper som CoreWeave vil få prioritert tilgang til den nyeste maskinvareutgivelsen fra Nvidia og andre.

Denne forretningsmodellen vil sannsynligvis være spesielt viktig for AI‑trening, som krever langt mer beregningskapasitet enn bare å bruke allerede trente AI‑er.

Edge‑computing & AI‑PCer

Et annet tilfelle av AI‑beregning som utvikler seg raskt er behovet for å ha AI‑systemenes beregning utført på stedet, så nært som mulig virkelige situasjoner.

Dette er et must for systemer som kanskje ikke tåler å bli frakoblet fra AI hvis forbindelsen svikter, eller når latensen mellom skyen og lokalt er for høy.

Et godt eksempel er selvkjørende biler, som forventes å forstå omgivelsene sine offline.

Denne typen beregning kalles edge‑computing, og drar stor nytte av mer effektiv og mindre strøm‑krevende maskinvare.

Det kan øke AI‑pålitelighet, og etter hvert som modeller blir mer effektive, illustrert av DeepSeek‑spranget, kan det bli en mer utbredt modell for AI‑distribusjon i fremtiden.

Av samme grunn kan AI‑PCer som den nylig lansert av Nvidia, på lang sikt være tilstrekkelige til å kjøre mange AI‑applikasjoner lokalt, og øke personvern og sikkerhet sammenlignet med alltid tilkoblede sky‑AIer.

Konklusjon

AI‑maskinvare har en stund vært nesten synonymt med GPUer, siden grafikkort var mye mer effektive for AI‑trening enn andre typer maskinvare som CPUer. Dette skapte formuen til Nvidia og mange av deres tidlige aksjonærer.

GPUer, spesielt AI‑fokuserte «super‑GPUer», vil sannsynligvis forbli viktige i byggingen av AI‑datasentre. Men de vil utvikle seg til kun å være én av komponentene i stadig mer komplekse og spesialiserte systemer.

Transformer‑operasjoner vil bli sendt til TPUer, nevrale nettverk til NPP, repeterende oppgaver til dedikerte ASICer eller omkonfigurerte FPGAer.

Samtidig vil høy‑båndbredde‑minne, avanserte telekommunikasjonskontakter og ultra‑effektiv kjøling holde alle de hjelpesystemene rundt beregningskjernen i drift.

For edge‑computing og mindre AI‑systemer enn de massive LLM‑ene, vil lokal beregning, kanskje drevet av alt‑i‑ett‑XPUs, sannsynligvis bli brukt av forskere, selvkjørende biler og brukere som er opptatt av personvern eller sensur, potensielt med åpen kildekode‑AI‑modeller.

Det som er sikkert er at fortjenesten fra salg av «hakker og spader» innen AI‑maskinvare i AI‑gullrushet langt fra er over.

Etter en periode med dominans fra Nvidia, kan investorer ønske å diversifisere risiko ved å spre sin AI‑maskinvareportefølje til andre design, og kanskje også til kraftleverandørselskaper som vil levere de verdifulle gigawattene som trengs for å drive de stadig større og flere AI‑datasentrene i verden.