Ukontrollert energiforbruk – Bruke AI for å forbedre AI

Den kunstige intelligens (AI)-markedet vokser raskt og er forventet å nå $1.8 trillion innen slutten av dette tiåret. 

Selv om AI-mani begynte å få tidlig oppmerksomhet i 2021, var det først i fjor at AI virkelig fikk sitt gjennombrudd. Faktisk var veksten så stor at alt relatert til AI, fra løsninger til bruk, begynte å skyte i været, og investeringene i generativ AI skjøt i været. 

Da generative AI-systemer som ChatGPT demonstrerte nye evner, ønsket alle seg en bit av denne raskt voksende kaken. Dessuten skjer mesteparten av denne private investeringen i USA.

Bak disse populære verktøyene ligger grunnmodeller som GPT-4 i tilfelle av OpenAIs ChatGPT. Disse store flerbrukermodellene krever enorme datasett og store ressurser for trening. Grunnmodeller fungerer som et utgangspunkt for utvikling av maskinlæringsmodeller (ML) som driver nye applikasjoner på en kostnadseffektiv og raskere måte.

Teknologigiganten Google har sluppet flere grunnmodeller; Imagen, Muse og Parti er tekst-til-bilde-modeller, MedLM for helseindustrien, kodingmodellen kalt Codey, og den universelle tale-modellen Chirp.

Disse modellene bruker enestående mengder minne, inkludert mye mer minne for å lagre og hente de virkelige dataene de opererer på. For eksempel er GPT-3 trent på omtrent 500 milliarder ord og bruker 175 milliarder parametere. Dette har ført til at AI‑s energibehov har skutt i været.

I løpet av de siste par årene har AI‑s miljøpåvirkning blitt bredt rapportert. Sent i fjor forsøkte en fagfellevurdert analyse å kvantifisere dette behovet. 

Etter å ha diskutert de enorme energikostnadene ved kryptovaluta‑mining, har Alex de Vries, datasjef ved Nederlands sentralbank og Ph.D.-kandidat ved Vrije University Amsterdam, vendt oppmerksomheten mot den nyeste teknologitrenden: AI‑adopsjon. Ifølge sin siste vurdering, vil NVIDIA (NVDA ) sende 1,5 millioner AI‑serverenheter per år innen 2027. Når de kjører på full kapasitet, forventes disse serverne å forbruke minst 85,4 terawatt‑timer elektrisitet årlig. 

De Vries anslår at AI potensielt kan være verre enn Proof-of-Work (PoW)-nettverk som Bitcoin. Dette er imidlertid kun anslag, og eksperter påpeker at tallene ikke er komplette og er betinget.

I desember i fjor utførte Sasha Luccioni fra AI‑firmaet Hugging Face og hennes kolleger fra firmaet og Carnegie Mellon University også tester på 88 forskjellige modeller. De utførte oppgaven 1 000 ganger og fant at de fleste oppgaver bruker en liten mengde energi, som 0,047 kWh, for å generere tekst. Imidlertid var tallene mye høyere for bildegenereringsmodeller, som i gjennomsnitt brukte 2,907 kWh per 1 000 inferenser. Til sammenligning bemerket de at en gjennomsnittlig smarttelefon bruker 0,012 kWh for å lade.

I mellomtiden estimerte en nylig artikkel at store språkmodeller bruker omtrent 1 300 megawatt‑timer elektrisitet, noe som tilsvarer strømforbruket til 130 amerikanske husholdninger per år.

Det internasjonale energibyrået bemerkte i sin rapport tidligere i år at etterspørselen etter AI og krypto vil føre til betydelig økt strømforbruk i datasentre i nær fremtid. Økningen forventes å gå fra 460 terawatt‑timer i 2022 til mellom 620 og 1 050 TWh i 2026.

Dette har fanget regulatorenes oppmerksomhet, som nå advarer om de økende kostnadene ved AI. Ifølge Massachusetts-senatoren Edward Markey (D):

“Utviklingen av neste generasjon AI‑verktøy kan ikke komme på bekostning av planetens helse.” 

Dette kom etter at han, sammen med andre senatorer og representanter, introduserte et lovforslag som krever at den føderale regjeringen skal vurdere AI‑s miljøavtrykk og utvikle et standardisert system for rapportering av fremtidige påvirkninger. I Europa er AI‑loven allerede vedtatt, og den krever at kraftige grunnmodeller rapporterer ressursbruk, energiforbruk og andre påvirkninger.

Midt i alt dette vil International Organization for Standardization senere i år utgi kriterier for måling av materialbruk, vannforbruk og energieffektivitet for «bærekraftig AI».

Gjør AI mer effektivt 

For å være levedyktige i stor skala må AI-modeller bli mer energieffektive og kunne kjøre på energibegrensede enheter som bruker betydelig mindre strøm enn datasentre. 

Disse datasentrene krever enorme mengder strøm for å holde datamaskinene i gang, og strømmen kommer hovedsakelig fra fossile brensler. Dette forårsaker betydelige CO2e‑utslipp. For å takle dette har forskere og organisasjoner jobbet med å gjøre AI mer effektivt. 

Et fremtredende firma som har gjort betydelige fremskritt i å finne en løsning på dette problemet, er det London-baserte kodeoptimaliseringsspesialister TurinTech. TurinTech gjør fremskritt gjennom en blanding av dyp læring og evolusjonsalgoritmer. Systemet tilpasser kontinuerlig en eksisterende modell basert på ny informasjon i stedet for å regenerere den fra bunnen av. 

Ifølge Harvey Lewis fra Ernst and Young UK kan evolusjons‑ eller genetiske algoritmer og Bayesianske statistiske metoder gjøre dyp læring mer effektiv, og spesialisert maskinvare kan redusere kostnadene.

En annen foreslått metode er å koble datadrevet AI med andre vitenskapelige eller menneskelige innspill om applikasjonens domene. Pushkar P. Apte, direktør for strategiske initiativer ved CITRIS, og Costas J. Spanos, direktør ved CITRIS, skrev om fire måter å oppnå dette:

• Synergisere AI med vitenskapelige lover.
• Utvide data med ekspertinnsikt fra mennesker.
• Bruke enheter for å forklare hvordan AI tar beslutninger.
• Bruke andre modeller for å forutsi atferd.

Nylig gjorde oppstarten EnCharge et AI‑gjennombrudd som kan dramatisk forbedre energiforbruket til disse AI-modellene ved prediksjoner. Selskapet brukte DARPA‑midler til å redusere minnebruk ved å utføre noe av arbeidet i analog minnekretsløp, som kan utføre matrise‑multiplikasjons‑akkumuleringer parallelt med lav energi i stedet for tradisjonelle transistorer. 

“Det er slik du løser dataflytte‑problemet.” 

– Naveen Verma, administrerende direktør i EnCharge AI og professor ved Institutt for elektroteknikk ved Princeton 

Han la også til at i stedet for å kommunisere individuelle biter, blir det reduserte resultatet kommunisert i form av akkumuleringen av mange parallelle multiplikasjoner.

EnCharge AI har kunnet behandle 150 billioner operasjoner per sekund per watt. Imidlertid er analog beregning ekstremt vanskelig å oppnå, og tidligere forsøk har ikke vært fruktbare.

I mellomtiden, forskning av tenure‑track assisterende professor Raghavendra Selvan fra UCPHs institutt for datavitenskap i fjor utforsket ulike måter å senke karbonavtrykket til ML på. På mikronivå kan algoritmer gjøres raskere og mer effektive for å redusere ressursbruk. Dette, bemerket han, kan gjøres ved å undersøke hvordan antall biter som brukes i beregningene kan reduseres og hvordan overflødige beregninger kan kuttes. 

Han foreslo også å vurdere behovet for all lagret data. Så, på makronivå, ved å se på når og hvor beregningene (mange av dem er ikke tidskritiske) utføres, kan man velge lavtrafikktimer for å trene AI‑systemer for å redusere kostnadene for treningsøktene og deres karbonavtrykk. 

Bruke AI for å gjøre AI bedre 

Nå har Selvan laget en benchmark for å designe AI-modeller som bruker langt mindre energi uten å påvirke ytelsen. Dette krever imidlertid at energiforbruket og karbonavtrykket brukes som standard ved design og trening av disse AI-modellene.

For dette ble 429 000 av AI‑undermodellene studert. Disse konvolusjonelle nevrale nettverkene, som brukes til språkoversettelse, ansiktsgjenkjenning, objektdeteksjon og medisinsk bildeanalyse, anslås å kreve så mye som 263 000 kWh energi bare for å trene. 

For å sette det i perspektiv, er 263 000 kWh omtrent like mye energi som den gjennomsnittlige danske borgeren bruker over mer enn fire tiår. En datamaskin ville trenge et århundre for å fullføre all denne treningen. 

Dette kolossale energiforbruket får industrien til å jobbe med å gjøre det klima‑vennlig; utviklingen av energieffektive AI-modeller er imidlertid ennå ikke en realitet. Ifølge Selvan, som undersøker muligheter for å redusere AI‑s karbonavtrykk:

“I dag er utviklere snevert fokusert på å bygge AI-modeller som er effektive når det gjelder nøyaktigheten av resultatene deres.” 

Han sammenlignet denne oppførselen med en bil, som anses som god bare fordi den raskt bringer en til destinasjonen uten å ta hensyn til drivstofforbruket. Han la videre til:

“Som et resultat er AI-modeller ofte ineffektive når det gjelder energiforbruk.” 

Hans nye studie, utført sammen med CS‑studenten Pedram Bakhtiarifard, har som mål å endre dette ved å demonstrere at det er mulig å begrense en stor mengde CO2e samtidig som presisjonen til en AI-modell beholdes.

For å oppnå dette bemerket UCPH‑forskerne at vi trenger en energieffektiv modell helt fra starten. Dette betyr at man må ta hensyn til klimakostnader ved design og under den energikrevende prosessen med å trene AI-modeller. Selvan sa at på denne måten kan karbonavtrykket reduseres i «hver fase av modellens livssyklus», som inkluderer både modellens trening og distribusjon.

Så beregnet forskerne energien som kreves for å trene hundretusener av disse AI-modellene. Interessant nok trente ikke UCPH‑forskerne modellene selv, men estimerte ved hjelp av en annen AI-modell. På denne måten klarte de å spare mesteparten, 99 %, av energien som ellers ville blitt brukt.

Nå, basert på beregningene deres, har teamet presentert en benchmark‑samling av AI-modeller som presterer på omtrent samme nivå, men bruker mindre energi for å fullføre en oppgave.

Ifølge studien kan justering av modeller eller bruk av andre modelltyper spare opptil 80 % av energien under trenings- og anvendelsesfasene. Når det gjelder ytelse, har det vært liten eller ingen kompromiss (kun 1 % eller mindre). Disse tallene er faktisk konservative, ifølge forskerne. 

“Se på resultatene våre som en oppskriftsbok for AI‑profesjonelle. Oppskriftene beskriver ikke bare ytelsen til ulike algoritmer, men også hvor energieffektive de er.” 

– Bakhtiarifard

Han uttalte videre at ved bare å bytte ut én komponent i modellens design med en annen, kan vi «ofte oppnå samme resultat». Dette betyr at praktikere ikke trenger å trene hver modell først; de kan i stedet velge en basert på både ytelse og energiforbruk.

Gitt at flere modeller trenes før man finner det mest egnede alternativet for en bestemt oppgave, gjør AI‑utvikling «ekstremt energikrevende», sa Bakhtiarifard, «det ville være mer klima‑vennlig å velge riktig modell fra starten av», og i tillegg velge den som ikke bruker betydelig strøm under treningsfasen.

Mens i områder som selvkjørende biler og medisin er modellpresisjon kritisk for sikkerheten, og vi derfor ikke kan gå på kompromiss med ytelsen der, bemerket forskerne, bør dette ikke avskrekke oss fra å forsøke å oppnå høy energieffektivitet i andre domener. 

Studien viser, ifølge dem, at en bedre avveining kan finnes når energieffektivitet blir en standard i utviklingen av AI-modeller, slik som i mange sektorer. Ifølge Selvan:

“AI har enormt potensial. Men hvis vi skal sikre bærekraftig og ansvarlig AI‑utvikling, trenger vi en mer helhetlig tilnærming som ikke bare har modellens ytelse i tankene, men også klima‑påvirkningen.” 

Benchmark‑en, kalt EC‑NAS, er åpen kildekode og kan brukes av andre forskere og selskaper for å fremme forskning innen neural arkitektursøk (NAS). Studien sa at bruk av fler‑mål‑optimaliseringsalgoritmer skaper en balanse mellom energibruk og nøyaktighet. «Med sine ulike måleparametre inviterer EC‑NAS til videre forskning på utvikling av energieffektive og miljømessig bærekraftige modeller», uttalte studien.

AI-baserte energiløsninger

La oss nå se på selskapene som takler energisektoren ved hjelp av teknologi og aktivt jobber med å tilby AI‑baserte energiløsninger:

#1. GE Renewable Energy

Selskapet bruker AI/ML‑teknologi utviklet internt for nøyaktig å forutsi og effektivisere logistikkostnader i vindturbinlogistikken. I år lanserte GE Proficy for produsenter for å oppnå bærekraft samtidig som de maksimerer lønnsomheten. De har også implementert AI‑drevet CERius for å forbedre rapporteringsnøyaktigheten.

Tidligere denne måneden delte General Electric (GE.TO ) seg i tre separate selskaper, med fokus på luftfart, energi og helse, og begynte å handle på NYSE som separate enheter. Så er energidelen nå kalt GE Vernova (GEV ) (GEV) og har en markedsverdi på $36 milliarder med aksjer som handles til 131,75. I 2023 sikret selskapet sin største ordre for å støtte et amerikansk vindprosjekt som vil levere 2,4 GW til SunZia-prosjektet. Goldman Sachs (GS ) anslår at selskapet vil ha en EBITDA på $4bln innen 2026.

#2. Schneider Electric

Det franske selskapet på $34,2 milliarder bruker AI for å forbedre effektivitet og produktivitet samt takle klimaendringsutfordringen. Schneider Electrics AI‑bruk dreier seg om datavisualisering og ingeniørarbeid, optimalisering og simulering, samt pålitelighetsmodellering. 

Selskapet registrerte 36 milliarder euro i inntekter for regnskapsåret 2023, en økning på 13 %. Schneider Electric (SND.DE ) rapporterte også et nettoresultat på 4 milliarder euro og en fri kontantstrøm på 4,6 milliarder euro. 

Konklusjon

AI er teknologirevolusjonen i dette tiåret. Siden integreringen av AI har vist seg å senke kostnader og øke inntektene for selskaper samtidig som den gir bedre effektivitet for arbeidere, er det tydelig mer enn bare et buzzword. AI‑systemer overgår faktisk mennesker på en rekke oppgaver, selv om vi fortsatt er bedre enn dem på komplekse kognitive oppgaver.

Imidlertid kommer det med sine egne risikofaktorer når det gjelder personvern, algoritme‑skjevheter, og, som vi diskuterte ovenfor, den negative miljøpåvirkningen. En global undersøkelse av holdninger til AI viser også at folk er nervøse for denne nye teknologien, selv om flertallet ser den endre deres daglige liv i de kommende årene. Den yngre generasjonen er mer optimistisk til AI. 

Etter hvert som AI fortsetter å bli en stor del av livene våre, samles regjeringer, forskere og selskaper for å takle risikoene. Reguleringsmyndigheter har allerede begynt å rette seg mot industrien, med over 30 land som har vedtatt minst én AI‑relatert lov de siste syv årene. Etter hvert som flere teknologiske fremskritt skjer, vil vi se AI bli mer effektiv og forvandle verden vår. 

Klikk her for å lære alt om investering i kunstig intelligens.