Okontrollerad energiförbrukning – Använda AI för att förbättra AI

Den artificiella intelligensen (AI)-marknaden växer snabbt och förväntas nå 1,8 biljon dollar i slutet av detta decennium. 

Medan AI-manin började få tidigt fäste 2021, var det först förra året som AI verkligen fick sitt genombrott. Faktum är att dess tillväxt var så enorm att allt som rör AI, från lösningar till användning, började skjuta i höjden, vilket drev investeringarna i generativ AI till nya nivåer. 

När generativa AI-system som ChatGPT visade nya förmågor ville alla ha en del av denna snabbt växande kaka. Dessutom sker den största delen av dessa privata investeringar i USA.

Bakom dessa populära verktyg ligger grundmodeller som GPT-4 i fallet med OpenAIs ChatGPT. Dessa stora mångsidiga modeller kräver enorma datamängder och stora resurser för träning. Grundmodeller fungerar som en utgångspunkt för att utveckla maskininlärningsmodeller (ML) som driver nya applikationer kostnadseffektivt och snabbare.

Tekjätten Google har släppt flera grundmodeller; Imagen, Muse och Parti är text‑till‑bild-modeller, MedLM för hälsosektorn, kodningsmodellen kallad Codey och den universella talmodellen Chirp.

Dessa modeller förbrukar enastående mängder minne, inklusive mycket mer minne för att lagra och hämta den verkliga data de arbetar med. Till exempel tränas GPT-3 på cirka 500 miljarder ord och använder 175 miljarder parametrar. Detta har lett till att AI:s energiefterfrågan skjuter i höjden.

Under de senaste åren har AI:s miljöpåverkan rapporterats i stor omfattning. Sent förra året försökte en peer‑review‑analys kvantifiera denna efterfrågan.

Efter att ha diskuterat de enorma energikostnaderna för kryptovalutamining, har Alex de Vries, datascientist vid Nederländernas centralbank och doktorand vid Vrije University Amsterdam, vänt sin uppmärksamhet mot den senaste tekniktrenden: AI‑adoption. Enligt hans senaste bedömning kommer NVIDIA (NVDA ) att leverera 1,5 miljoner AI‑serverenheter per år till 2027. När de körs på full kapacitet förväntas dessa servrar förbruka minst 85,4 terawattimmar elektricitet årligen. 

De Vries uppskattar att AI potentiellt kan vara värre än Proof‑of‑Work‑nätverk (PoW) som Bitcoin. Detta är dock bara uppskattningar, och experter påpekar att siffrorna inte är kompletta och är beroende av förutsättningar.

I december förra året körde Sasha Luccioni från AI‑företaget Hugging Face och hennes kollegor från företaget samt Carnegie Mellon University också tester på 88 olika modeller. De körde uppgiften 1 000 gånger och fann att de flesta uppgifter använder en liten mängd energi, som 0,047 kWh, för att generera text. Däremot var siffrorna mycket högre för bildgenereringsmodeller, som i genomsnitt använde 2,907 kWh per 1 000 inferenser. För jämförelse noterade de att en genomsnittlig smartphone använder 0,012 kWh för att laddas.

Samtidigt uppskattade ett nyligen papper att stora språkmodeller använder cirka 1 300 megawattimmar elektricitet, vilket motsvarar den el som 130 hushåll i USA förbrukar årligen.

Internationella energibyrån noterade i sin rapport tidigare i år att efterfrågan på AI och kryptovalutor kommer att leda till en avsevärt ökad elförbrukning i datacenter inom en snar framtid. Ökningen förväntas gå från 460 terawattimmar 2022 till mellan 620 och 1 050 TWh 2026.

Detta har fångat regulatorernas uppmärksamhet, som nu varnar för de ökande kostnaderna för AI. Enligt Massachusetts senator Edward Markey (D):

“Utvecklingen av nästa generation av AI‑verktyg får inte ske på bekostnad av vår planets hälsa.” 

Detta kom efter att han, tillsammans med andra senatorer och representanter, introducerade en lag som kräver att den federala regeringen utvärderar AI:s miljöavtryck och utvecklar ett standardiserat system för att rapportera framtida påverkan. I Europa har AI‑lagen redan antagits, vilket kräver att kraftfulla grundmodeller rapporterar sin resursanvändning, energiförbrukning och andra effekter.

Mitt i allt detta kommer International Organization for Standardization senare i år att utfärda kriterier för att mäta materialanvändning, vattenförbrukning och energieffektivitet för ”hållbar AI”.

Gör AI mer effektivt 

För att vara hållbara i stor skala måste AI‑modeller bli mer energieffektiva och kunna köras på energibehovande enheter som använder avsevärt mindre kraft än datacenter. 

Dessa datacenter kräver enorma mängder energi för att hålla datorerna igång, vilket huvudsakligen kommer från fossila bränslen. Detta orsakar betydande CO2e‑utsläpp. För att tackla detta har forskare och organisationer arbetat med att göra AI mer effektivt.

Ett framstående företag som gjort betydande framsteg i att hitta en lösning på detta problem är det London‑baserade kodoptimeringsspecialistföretaget TurinTech. TurinTech gör framsteg genom en kombination av djupinlärning och evolutionära algoritmer. Systemet anpassar kontinuerligt en befintlig modell baserat på ny information istället för att återskapa den från grunden.

Enligt Harvey Lewis från Ernst and Young UK kan evolutionära eller genetiska algoritmer och Bayesiska statistiska metoder göra djupinlärning mer effektiv, och specialiserad hårdvara kan minska dess kostnad.

En annan föreslagen metod är att koppla data‑driven AI med andra vetenskapliga eller mänskliga insikter om applikationens domän. Pushkar P. Apte, chef för strategiska initiativ på CITRIS, och Costas J. Spanos, chef på CITRIS, skrev om fyra sätt att uppnå detta:

• Synergisera AI med vetenskapliga lagar.
• Komplettera data med expertinsikter från människor.
• Använda enheter för att förklara hur AI fattar beslut.
• Använda andra modeller för att förutsäga beteende.

Senast har startupen EnCharge gjort ett AI‑genombrott som kan förbättra energiförbrukningen för dessa AI‑modeller avsevärt vid prediktioner. Företaget använde sin DARPA‑finansiering för att minska minnesanvändningen genom att utföra en del av arbetet i analog minneskrets, som kan utföra matris‑multiplikations‑ackumuleringar parallellt med låg energi istället för traditionella transistorer.

“Det är så du löser dataförflyttningsproblemet.” 

– Naveen Verma, VD för EnCharge AI och professor vid avdelningen för elektroteknik på Princeton 

Han tillade vidare att istället för att kommunicera enskilda bitar, kommuniceras det reducerade resultatet i form av ackumuleringen av många parallella multiplikationer.

EnCharge AI har kunnat bearbeta 150 biljoner operationer per sekund per watt. Analog beräkning är dock extremt svårt att uppnå, och tidigare försök har inte varit framgångsrika.

Samtidigt forskning av lektorassistent Raghavendra Selvan från UCPHs datavetenskapsavdelning förra året undersökte olika sätt att minska koldioxidavtrycket för maskininlärning. På mikronivå kan algoritmer göras snabbare och mer effektiva för att minska resursanvändning. Detta, noterade han, kan göras genom att undersöka hur antalet bitar som används för beräkningarna kan minskas och hur redundanta beräkningar kan reduceras.

Han föreslog vidare att utvärdera behovet av all lagrad data. Så på makronivå, genom att titta på när och var beräkningarna (många av dem är inte tidskritiska) utförs, kan icke‑topptimmar väljas för att träna AI‑system, vilket minskar kostnaderna för träningssessionerna och deras koldioxidavtryck.

Använda AI för att göra AI bättre 

Nu har Selvan skapat ett riktmärke för att designa AI‑modeller som förbrukar mycket mindre energi utan att påverka deras prestanda. Detta kräver dock att energiförbrukning och koldioxidavtryck används som standard vid design och träning av dessa AI‑modeller.

För detta studerades 429 000 AI‑subtypmodeller. Dessa konvolutionella neurala nätverk, som används för språköversättning, ansiktsigenkänning, objektidentifiering och medicinsk bildanalys, uppskattas kräva så mycket som 263 000 kWh energi enbart för att tränas.

För att sätta det i perspektiv motsvarar 263 000 kWh ungefär den energi som den genomsnittliga danske medborgaren förbrukar under mer än fyra decennier. En dator skulle behöva ett sekel för att slutföra all denna träning.

Denna enorma energianvändning har fått branschen att arbeta för att göra den klimatvänlig; dock har utvecklingen av energieffektiva AI‑modeller ännu inte blivit en verklighet. Enligt Selvan, som undersöker möjligheter att minska AI:s koldioxidavtryck:

“Idag är utvecklare alltför fokuserade på att bygga AI‑modeller som är effektiva när det gäller resultatens noggrannhet.” 

Han jämförde detta beteende med en bil, som anses bra bara för att den snabbt tar en till destinationen utan att beakta bränsleförbrukningen. Han tillade vidare:

“Som ett resultat är AI‑modeller ofta ineffektiva när det gäller energiförbrukning.” 

Hans nya studie, utförd med CS‑studenten Pedram Bakhtiarifard, syftar till att förändra detta genom att demonstrera att det är möjligt att begränsa en stor mängd CO2e samtidigt som AI‑modellens precision bevaras.

För att uppnå detta noterade UCPH‑forskarna att vi behöver en energieffektiv modell redan från början. Detta innebär att beakta klimatkostnader vid design och under den energikrävande processen att träna AI‑modeller. Selvan sade att på så sätt kan koldioxidavtrycket minskas i “varje fas av modellens ‘livscykel'”, vilket inkluderar både modellens träning och driftsättning.

Så beräknade forskarna energin som krävs för att träna hundratusentals av dessa AI‑modeller. Intressant nog tränade UCPH‑forskarna inte modellerna utan uppskattade istället med hjälp av en annan AI‑modell. På så sätt kunde de spara en överväldigande majoritet, 99 %, av den energi som annars skulle ha krävts.

Nu, baserat på deras beräkningar, har teamet presenterat en samling av benchmark‑AI‑modeller som presterar på ungefär samma nivå men använder mindre energi för att slutföra en uppgift.

Enligt studien kan justering av modeller eller användning av andra typer av modeller spara upp till 80 % av energin under tränings- och tillämpningsstadierna. När det gäller prestanda har det skett liten eller ingen kompromiss (endast 1 % eller mindre). Dessa siffror är faktiskt konservativa, enligt forskarna.

“Betra våra resultat som en receptbok för AI‑professionella. Recepten beskriver inte bara prestandan för olika algoritmer, utan också hur energieffektiva de är.” 

– Bakhtiarifard

Han tillade vidare att genom att helt enkelt byta ut en komponent i modellens design mot en annan, kan vi “ofta uppnå samma resultat”. Detta innebär att praktiker inte behöver börja träna varje modell först; de kan istället välja en baserat på både prestanda och energiförbrukning.

Med tanke på att flera modeller tränas innan den mest lämpliga för en viss uppgift hittas, vilket gör AI‑utveckling “extremt energikrävande”, sade Bakhtiarifard, “det skulle vara mer klimatvänligt att välja rätt modell från början”, och dessutom välja den som inte förbrukar betydande energi under träningsfasen.

Även om inom områden som självkörande bilar och medicin är modellens precision kritisk för säkerheten, och vi därför inte kan kompromissa med prestanda där, påpekade forskarna att detta inte bör avskräcka oss från att försöka uppnå hög energieffektivitet i andra domäner.

Studien visar enligt dem att en bättre avvägning kan hittas när energieffektivitet blir en standard i AI‑modellutveckling, precis som i många sektorer. Enligt Selvan:

“AI har enorm potential. Men om vi ska säkerställa hållbar och ansvarsfull AI‑utveckling behöver vi ett mer holistiskt tillvägagångssätt som inte bara fokuserar på modellens prestanda, utan också på klimatpåverkan.” 

Benchmarken, kallad EC‑NAS, är öppen källkod och kan användas av andra forskare och företag för att driva forskningen inom neural arkitektursökning (NAS). Studien sade att användning av multi‑objektiv optimeringsalgoritmer skapar en balans mellan energianvändning och noggrannhet. “Med sina mångsidiga mått bjuder EC‑NAS in till vidare forskning för att utveckla energieffektiva och miljömässigt hållbara modeller,” konstaterade studien.

AI‑baserade energilösningar

Låt oss nu titta på de företag som tar itu med energisektorn med hjälp av teknik och aktivt arbetar med att erbjuda AI‑baserade energilösningar:

#1. GE Renewable Energy

Företaget använder AI/ML‑teknik som utvecklats internt för att exakt förutsäga och effektivisera logistikkostnaderna för vindkraftverkens logistiska process. I år släppte GE Proficy för tillverkare för att uppnå hållbarhet samtidigt som de hjälper till att maximera lönsamheten. De har också implementerat den AI‑drivna CERius för att förbättra rapporteringsnoggrannheten.

Tidigare i månaden delade General Electric (GE.TO ) upp sig i tre separata företag, fokuserade på flyg, energi och sjukvård, och började handlas på NYSE som separata enheter. Så deras energidivision heter nu GE Vernova (GEV ) (GEV) och har ett marknadsvärde på 36 miljarder dollar med aktier som handlas till 131,75. År 2023 säkrade företaget sin största order för att stödja ett amerikanskt vindprojekt som kommer att leverera 2,4 GW till SunZia‑projektet. Goldman Sachs (GS ) förutspår att företaget kommer ha en EBITDA på 4 miljarder dollar år 2026.

#2. Schneider Electric

Det fransbaserade företaget på 34,2 miljarder dollar utnyttjar AI för att förbättra effektivitet och produktivitet samt för att hantera klimatförändringarnas utmaningar. Schneider Electrics AI‑användning kretsar kring datavisualisering och ingenjörskonst, optimering och simulering samt tillförlitlighetsmodellering.

Företaget redovisade 36 miljarder euro i intäkter för räkenskapsåret 2023, en ökning med 13 %. Schneider Electric (SND.DE ) rapporterade också en nettovinst på 4 miljarder euro och ett fritt kassaflöde på 4,6 miljarder euro.

Slutsats

AI är teknikrevolutionen för detta decennium. Eftersom integrationen av AI har visat sig sänka kostnader och öka intäkterna för företag samtidigt som den ger bättre effektivitetsvinster för arbetstagare, är det tydligt mer än bara ett modeord. AI‑system överträffar faktiskt människor på en rad uppgifter, även om vi fortfarande är bättre än dem på komplexa kognitiva uppgifter.

Det medför dock sina egna risker när det gäller integritet, algoritmbias och, som vi diskuterade ovan, den negativa miljöpåverkan. En global undersökning om attityder till AI visar också att människor är oroliga för denna nya teknik, även om majoriteten ser den förändra deras vardag under de kommande åren. Den yngre generationen är mer optimistisk kring AI.

Allteftersom AI fortsätter att bli en stor del av våra liv, samlas regeringar, forskare och företag för att hantera dess risker. Regulatorer har redan börjat rikta in sig på branschen, med över 30 länder som har antagit minst en AI‑relaterad lag under de senaste sju åren. När teknologiska framsteg ökar kommer vi att se AI bli mer effektivt och omvandla vår värld.

Klicka här för att lära dig allt om att investera i artificiell intelligens.