Ukontrolleret energiforbrug – Brug af AI til at forbedre AI

Den kunstige intelligens (AI) markedet vokser hurtigt og er forventet at nå $1,8 billioner inden udgangen af dette årti. 

Mens AI-manien begyndte at få tidlig opmærksomhed i 2021, var det først sidste år, at AI virkelig fandt sit gennembrud. Faktisk var væksten så enorm, at alt relateret til AI, fra løsninger til anvendelse, begyndte at skyde i vejret, hvilket skubbede investeringerne i generativ AI til himmels. 

Da generative AI-systemer som ChatGPT demonstrerede nye evner, ønskede alle at få en bid af denne hurtigt voksende kage. Desuden foregår størstedelen af denne private investering i USA.

Bag disse populære værktøjer ligger grundlæggende modeller som GPT-4 i tilfældet med OpenAIs ChatGPT. Disse store multifunktionelle modeller kræver enorme datasæt og store ressourcer til træning. Grundlæggende modeller fungerer som udgangspunkt for udvikling af maskinlærings (ML) modeller, der driver nye applikationer på en omkostningseffektiv og hurtigere måde.

Tech‑giganten Google har frigivet flere grundlæggende modeller; Imagen, Muse og Parti er tekst‑til‑billede modeller, MedLM til sundhedsindustrien, kodningsmodellen kaldet Codey, og den universelle tale‑model Chirp.

Disse modeller forbruger hidtil usete mængder hukommelse, inklusive meget mere hukommelse til at gemme og hente de virkelige data, de arbejder med. For eksempel er GPT-3 trænet på omkring 500 milliarder ord og bruger 175 milliarder parametre. Dette har medført, at AI’s energiefterspørgsel er steget kraftigt.

I løbet af de sidste par år er AI’s miljøpåvirkning blevet bredt rapporteret. Sent sidste år forsøgte en fagfællebedømt analyse at kvantificere dette forbrug.

Efter at have diskuteret de enorme energikostnader ved kryptovaluta‑minedrift, har Alex de Vries, datalog ved Nederlands centralbank og Ph.D.-kandidat ved Vrije University Amsterdam, vendt sin opmærksomhed mod den seneste teknologitrend: AI‑adoption. Ifølge hans seneste vurdering vil NVIDIA (NVDA ) levere 1,5 millioner AI‑serverenheder pr. år inden 2027. Når de kører på fuld kapacitet, forventes disse servere at forbruge mindst 85,4 terawatt‑timer elektricitet årligt.

De Vries anslår, at AI potentielt kan være værre end Proof‑of‑Work (PoW) netværk som Bitcoin. Dog er dette kun estimater, og eksperter påpeger, at tallene ikke er komplette og er betingede.

Sidste december udførte Sasha Luccioni fra AI‑firmaet Hugging Face og hendes kolleger fra firmaet samt Carnegie Mellon University tests på 88 forskellige modeller. De udførte opgaven 1.000 gange og fandt at de fleste opgaver bruger en lille mængde energi, som 0,047 kWh, til at generere tekst. Dog var tallene meget større for billed‑genereringsmodeller, som i gennemsnit brugte 2,907 kWh per 1.000 inferenser. Til sammenligning bemærkede de, at en gennemsnitlig smartphone bruger 0,012 kWh til opladning.

I mellemtiden estimerede en nylig artikel at store sprogmodeller bruger omkring 1.300 megawatt‑timer elektricitet, hvilket svarer til den strøm, der forbruges af 130 husholdninger i USA årligt.

Den Internationale Energiagentur bemærkede i sin rapport tidligere i år, at efterspørgslen efter AI og kryptovaluta vil føre til en betydeligt øget el‑forbrug i datacentre i den nærmeste fremtid. Stigningen forventes at gå fra 460 terawatt‑timer i 2022 til mellem 620 og 1.050 TWh i 2026.

Dette har fanget regulatorernes opmærksomhed, som nu advarer om de stigende omkostninger ved AI. Ifølge Massachusetts senator Edward Markey (D):

“Udviklingen af næste generation af AI‑værktøjer kan ikke ske på bekostning af planetens sundhed.”

Dette kom efter at han, sammen med andre senatorer og repræsentanter, indførte et lovforslag, der kræver, at den føderale regering vurderer AI’s miljømæssige fodaftryk og udvikler et standardiseret system til rapportering af fremtidige påvirkninger. I Europa er AI‑loven allerede vedtaget, hvilket kræver, at kraftfulde grundlæggende modeller rapporterer deres ressourceforbrug, energiforbrug og andre påvirkninger.

Midt i alt dette vil International Organization for Standardization senere i år udstede kriterier for måling af materialeforbrug, vandforbrug og energieffektivitet for “bæredygtig AI”.

Gøre AI mere effektiv 

For at være levedygtige i stor skala skal AI‑modeller blive mere energieffektive og kunne køre på energibegrænsede enheder, der bruger betydeligt mindre strøm end datacentre.

Disse datacentre kræver enorme mængder strøm for at holde computerne kørende, og energien kommer primært fra fossile brændstoffer. Dette forårsager betydelige CO2e‑emissioner. For at tackle dette har forskere og organisationer arbejdet på at gøre AI mere effektiv.

En fremtrædende virksomhed, der har gjort betydelige fremskridt i at finde en løsning på dette problem, er det London‑baserede kodeoptimeringsspecialist TurinTech. TurinTech gør fremskridt gennem en kombination af dyb læring og evolutionære algoritmer. Systemet tilpasser løbende en eksisterende model baseret på ny information i stedet for at regenerere den fra bunden.

Ifølge Harvey Lewis fra Ernst and Young UK kan evolutionære eller genetiske algoritmer og Bayesianske statistiske metoder gøre dyb læring mere effektiv, og specialiseret hardware kan reducere omkostningerne.

En anden foreslået metode er at forbinde data‑drevet AI med andre videnskabelige eller menneskelige input om applikationens domæne. Pushkar P. Apte, direktør for strategiske initiativer hos CITRIS, og Costas J. Spanos, direktør hos CITRIS, skrev om fire måder at opnå dette på:

• Synergisering af AI med videnskabelige love.
• Udvidelse af data med ekspert‑menneskelige indsigter.
• Anvendelse af enheder til at forklare, hvordan AI træffer beslutninger.
• Brug af andre modeller til at forudsige adfærd.

Senest har startup‑en EnCharge gjort et AI‑gennembrud, der kan forbedre energiforbruget for disse AI‑modeller dramatisk under forudsigelser. Virksomheden udnyttede sin DARPA‑finansiering til at reducere hukommelsesforbruget ved at udføre noget af arbejdet i analog hukommelseskredsløb, som kan udføre matrix‑multiplikations‑akkumuleringer parallelt med lav energi i stedet for traditionelle transistorer.

“Det er sådan, du løser data‑bevægelses‑problemet.”

– Naveen Verma, administrerende direktør for EnCharge AI og professor ved Institut for Elektroteknik på Princeton 

Han tilføjede yderligere, at i stedet for at kommunikere individuelle bits, kommunikeres det reducerede resultat i form af akkumuleringen af mange parallelle multiplikationer.

EnCharge AI har kunnet behandle 150 billioner operationer pr. sekund pr. watt. Analog beregning er dog ekstremt vanskelig at opnå, og tidligere forsøg har ikke været frugtbare.

I mellemtiden forsknings af lektor‑kandidat Raghavendra Selvan fra Københavns Universitets Institut for Datalogi sidste år udforskede forskellige måder at sænke ML’s CO2‑fodaftryk på. På mikroniveau kan algoritmer gøres hurtigere og mere effektive for at reducere ressourceforbruget. Dette, bemærkede han, kan gøres ved at undersøge, hvordan antallet af bits, der bruges til beregningerne, kan reduceres, samt hvordan redundante beregninger kan minimeres.

Han foreslog yderligere at vurdere behovet for al den lagrede data. Så på makroniveau, ved at se på hvornår og hvor beregningerne (mange af dem er ikke tidskritiske) udføres, kan man vælge lavbelastnings‑timer til træning af AI‑systemer for at reducere omkostningerne ved træningssessionerne og deres CO2‑fodaftryk.

Brug af AI til at gøre AI bedre 

Nu har Selvan oprettet en benchmark for at designe AI‑modeller, der forbruger langt mindre energi uden at påvirke deres ydeevne. Dette kræver dog, at energiforbruget og CO2‑fodaftrykket anvendes som standard ved design og træning af disse AI‑modeller.

Til dette blev 429.000 af AI‑undermodellerne undersøgt. Disse konvolutionelle neurale netværk, som bruges til sprogoversættelse, ansigtsgenkendelse, objektgenkendelse og medicinsk billedanalyse, anslås at kræve op til 263.000 kWh energi blot for at blive trænet.

For at sætte det i perspektiv svarer 263.000 kWh til den energi, den gennemsnitlige danske borger forbruger over mere end fire årtier. En computer ville tage et århundrede om at gennemføre al denne træning.

Dette kolossale energiforbrug får branchen til at arbejde på at gøre det klima‑venligt; dog er udviklingen af energieffektive AI‑modeller endnu ikke blevet en realitet. Ifølge Selvan, som undersøger muligheder for at reducere AI’s CO2‑fodaftryk:

“I dag er udviklere snævert fokuseret på at bygge AI‑modeller, der er effektive med hensyn til nøjagtigheden af deres resultater.”

Han sammenlignede denne adfærd med en bil, som betragtes som god blot fordi den hurtigt bringer én til destinationen uden at overveje brændstofforbruget. Han tilføjede yderligere:

“Som følge heraf er AI‑modeller ofte ineffektive med hensyn til energiforbrug.”

Hans nye undersøgelse, udført sammen med datalogi‑studerende Pedram Bakhtiarifard, har til formål at ændre dette ved at demonstrere, at det er muligt at begrænse en stor mængde CO2e, mens præcisionen af en AI‑model bevares.

For at opnå dette bemærkede UCPH‑forskerne, at vi har brug for en energieffektiv model helt fra starten. Det betyder, at man skal tage klimaomkostninger i betragtning ved design og under den energi‑intensive proces med at træne AI‑modeller. Selvan sagde, at på denne måde kan CO2‑fodaftrykket reduceres i “hver fase af modellens livscyklus”, som omfatter både modellens træning og implementering.

Så beregnede forskerne den energi, der kræves for at træne hundredtusinder af disse AI‑modeller. Interessant nok trænede UCPH‑forskerne ikke modellerne, men estimerede i stedet ved hjælp af en anden AI‑model. På denne måde kunne de spare størstedelen, 99 %, af den energi, der ellers ville have været nødvendig.

Nu har teamet, baseret på deres beregninger, præsenteret en benchmark‑samling af AI‑modeller, der præsterer på omtrent samme niveau, men bruger mindre energi til at udføre en opgave.

Ifølge undersøgelsen kan justering af modeller eller brug af andre typer modeller spare op til 80 % af energien under trænings‑ og anvendelsesfasen. Hvad angår ydeevne, er der kun lidt eller ingen kompromis (kun 1 % eller mindre). Disse tal er faktisk konservative, ifølge forskerne.

“Betrag vores resultater som en opskriftbog for AI‑professionelle. Opskrifterne beskriver ikke kun ydeevnen af forskellige algoritmer, men også hvor energieffektive de er.”

– Bakhtiarifard

Han tilføjede yderligere, at ved blot at udskifte én ingrediens i modellens design med en anden, kan vi “ofte opnå det samme resultat”. Det betyder, at praktikere ikke behøver at starte med at træne hver model først; de kan blot vælge en baseret på både ydeevne og energiforbrug.

Da flere modeller trænes, før den mest egnede løsning til en bestemt opgave findes, gør AI‑udvikling “ekstremt energi‑intensiv”, sagde Bakhtiarifard, “det ville være mere klima‑venligt at vælge den rigtige model fra starten”, og derudover vælge den, der ikke forbruger betydelig strøm under træningsfasen.

Selvom inden for områder som selvkørende biler og medicin er modelpræcision kritisk for sikkerheden, og vi derfor ikke kan gå på kompromis med ydeevnen der, bemærkede forskerne, bør dette ikke afskrække os fra at forsøge at opnå høj energieffektivitet i andre domæner.

Undersøgelsen viser ifølge dem, at en bedre afvejning kan findes, når energieffektivitet er en standard i AI‑modeludvikling, som i mange sektorer. Ifølge Selvan:

“AI har et fantastisk potentiale. Men hvis vi skal sikre en bæredygtig og ansvarlig AI‑udvikling, har vi brug for en mere holistisk tilgang, der ikke kun fokuserer på modellens ydeevne, men også på klima‑påvirkningen.”

Benchmarktet, kaldet EC‑NAS, er open‑source og kan bruges af andre forskere og virksomheder til at fremme forskning inden for neural arkitektur‑søgning (NAS). Undersøgelsen sagde, at brug af multi‑objective optimerings‑algoritmer skaber en balance mellem energiforbrug og nøjagtighed. “Med sine forskellige målinger inviterer EC‑NAS til yderligere forskning i udviklingen af energieffektive og miljømæssigt bæredygtige modeller,” udtalte undersøgelsen.

AI‑baserede energiløsninger

Lad os nu se på de virksomheder, der tackler energisektoren ved hjælp af teknologi og aktivt arbejder på at tilbyde AI‑baserede energiløsninger:

#1. GE Renewable Energy

Virksomheden anvender AI/ML‑teknologi udviklet internt til præcist at forudsige og strømline logistiske omkostninger for vindmølletlogistikprocessen. I år udgav GE Proficy til producenter for at opnå bæredygtighed samtidig med at maksimere rentabiliteten. Den har også implementeret den AI‑drevne CERius for at forbedre rapporteringsnøjagtigheden.

Tidligere denne måned delte General Electric (GE.TO ) sig i tre separate selskaber, fokuseret på luftfart, energi og sundhedspleje, og begyndte at handle på NYSE som separate enheder. Så dens energigrænse er nu kaldet GE Vernova (GEV ) (GEV) og har en markedsværdi på 36 milliarder dollars, mens aktierne handles til 131,75. I 2023 sikrede sin største ordre for at støtte et amerikansk vindprojekt, der vil levere 2,4 GW til SunZia‑projektet. Goldman Sachs (GS ) forudser, at virksomheden vil have en EBITDA på 4 milliarder dollars inden 2026.

#2. Schneider Electric

Det 34,2 milliarder dollars store franske selskab udnytter AI til at forbedre effektivitet og produktivitet samt tackle udfordringen med klimaændringer. Schneider Electrics AI‑brug kredser om datavisualisering og ingeniørarbejde, optimering og simulering samt pålidelighedsmodellering.

Virksomheden registrerede 36 milliarder euro i omsætning for regnskabsåret 2023, en stigning på 13 %. Schneider Electric (SND.DE ) rapporterede også et nettoresultat på 4 milliarder euro og en fri pengestrøm på 4,6 milliarder euro.

Konklusion

AI er dette årtis teknologirevolution. Da integrationen af AI har vist sig at sænke omkostninger og øge indtægter for virksomheder, samtidig med at den giver bedre effektivitetsgevinster for medarbejdere, er det tydeligt mere end blot et modeord. AI‑systemer overgår faktisk mennesker på en række opgaver, selvom vi stadig er bedre end dem i komplekse kognitive opgaver.

Dog kommer det med sine egne risici i form af privatliv, algoritmiske bias og, som vi diskuterede ovenfor, den negative miljøpåvirkning. En global undersøgelse af holdninger til AI viser også, at folk er nervøse for denne nye teknologi, selvom flertallet ser den ændre deres daglige liv i de kommende år. Den yngre generation er mere optimistisk omkring AI.

Efterhånden som AI fortsætter med at blive en stor del af vores liv, samles regeringer, forskere og virksomheder for at tackle dens risici. Regulatorer er allerede begyndt at målrette industrien, med over 30 lande der har vedtaget mindst én AI‑relateret lov i de sidste syv år. Efterhånden som flere teknologiske fremskridt sker, vil vi se AI blive mere effektiv og transformere vores verden.

Klik her for at lære alt om investering i kunstig intelligens.