Ongecontroleerd energieverbruik – AI gebruiken om AI te verbeteren

Groeien snel, de kunstmatige intelligentie (AI) markt is voorspeld om $1,8 biljoen te bereiken tegen het einde van dit decennium. 

Terwijl de AI‑mania in 2021 al vroeg tractie kreeg, was het pas vorig jaar dat AI echt zijn doorbraak vond. In feite was de groei zo enorm dat alles wat met AI te maken heeft, van oplossingen tot gebruik, de lucht in schoot, waardoor investeringen in generatieve AI door het dak gingen. 

Toen generatieve AI‑systemen zoals ChatGPT nieuwe mogelijkheden lieten zien, wilde iedereen een stukje van deze snelgroeiende taart. Bovendien vindt het grootste deel van deze particuliere investeringen plaats in de VS.

Aan de basis van deze populaire tools liggen foundation‑modellen zoals GPT‑4 in het geval van OpenAI’s ChatGPT. Deze grote multifunctionele modellen vereisen enorme datasets en enorme middelen voor training. Foundation‑modellen dienen als uitgangspunt voor het ontwikkelen van machine‑learning (ML) modellen die nieuwe toepassingen kosteneffectief en sneller mogelijk maken.

Tech gigant Google has gereleased several foundation models; Imagen, Muse, and Parti are text-to-image models, MedLM for the healthcare industry, the coding model called Codey, and the universal speech model Chirp.

Deze modellen verbruiken ongekende hoeveelheden geheugen, inclusief veel meer geheugen om de real‑world data die ze gebruiken op te slaan en op te halen. Bijvoorbeeld, GPT‑3 is getraind op ongeveer 500 miljard woorden en gebruikt 175 miljard parameters. Dit heeft geleid tot een stijgende energievraag van AI.

De afgelopen paar jaar is de milieu‑impact van AI breed gerapporteerd. Eind vorig jaar probeerde een peer‑reviewed analyse deze vraag te kwantificeren. 

Na het bespreken van de enorme energiekosten van cryptocurrency mining, heeft Alex de Vries, data‑scientist bij de centrale bank van Nederland en Ph.D.-kandidaat aan de Vrije Universiteit Amsterdam, zijn aandacht verlegd naar de nieuwste technologische trend: AI‑adoptie. Volgens zijn nieuwste beoordeling zal NVIDIA tegen 2027 jaarlijks 1,5 miljoen AI‑servereenheden leveren. Wanneer ze op volle capaciteit draaien, wordt verwacht dat deze servers jaarlijks minstens 85,4 terawatt‑uur elektriciteit verbruiken. 

De Vries schat dat AI potentieel erger kan zijn dan Proof‑of‑Work (PoW) netwerken zoals Bitcoin. Dit zijn echter slechts schattingen, waarbij experts opmerken dat deze cijfers niet volledig zijn en afhankelijk van omstandigheden.

In december vorig jaar voerden Sasha Luccioni van AI‑bedrijf Hugging Face en haar collega’s van het bedrijf en Carnegie Mellon University tests uit op 88 verschillende modellen. Ze voerden de taak 1.000 keer uit en vonden dat de meeste taken een kleine hoeveelheid energie gebruiken, zoals 0,047 kWh, om tekst te genereren. Echter, de cijfers waren veel hoger voor beeld‑generatiemodellen, die gemiddeld 2,907 kWh per 1.000 inferenties gebruikten. Ter vergelijking noteerden ze dat een gemiddelde smartphone 0,012 kWh verbruikt om op te laden.

Intussen schatte een recent paper dat grote taalmodellen ongeveer 1.300 megawattuur elektriciteit gebruiken, wat gelijk staat aan het stroomverbruik van 130 huishoudens in de VS per jaar.

Het Internationaal Energieagentschap heeft opgemerkt in zijn rapport eerder dit jaar dat de vraag naar AI en crypto zal leiden tot een aanzienlijk hoger elektriciteitsverbruik door datacenters in de nabije toekomst. De stijging wordt verwacht van 460 terawatt‑uur in 2022 naar tussen de 620 en 1.050 TWh in 2026.

Dit heeft de aandacht van de regelgevers getrokken, die nu waarschuwen voor de stijgende kosten van AI. Volgens Massachusetts Senator Edward Markey (D):

“De ontwikkeling van de volgende generatie A.I.-tools mag niet ten koste gaan van de gezondheid van onze planeet.” 

Dit kwam nadat hij, samen met andere senatoren en afgevaardigden, een wetsvoorstel introduceerde dat de federale overheid verplicht AI’s ecologische voetafdruk te beoordelen en een gestandaardiseerd systeem te ontwikkelen voor het rapporteren van toekomstige impact. In Europa is de AI‑Act al aangenomen, die krachtige foundation‑modellen verplicht hun resource‑gebruik, energieverbruik en andere impacten te rapporteren.

Midden in dit alles zal de International Organization for Standardization later dit jaar criteria uitgeven voor het meten van materiaalgebruik, waterverbruik en energie‑efficiëntie voor “duurzame A.I.” 

AI efficiënter maken 

Om op grote schaal levensvatbaar te zijn, moeten AI‑modellen energie‑efficiënter worden en in staat zijn te draaien op energie‑beperkte apparaten die aanzienlijk minder stroom verbruiken dan datacenters. 

Deze datacenters hebben enorme hoeveelheden stroom nodig om de computers draaiende te houden, waarbij de energie voornamelijk uit fossiele brandstoffen komt. Dit veroorzaakt aanzienlijke CO2e‑emissies. Om dit aan te pakken, werken onderzoekers en organisaties aan het efficiënter maken van AI. 

Een vooraanstaand bedrijf dat aanzienlijke vooruitgang heeft geboekt in het vinden van een oplossing voor dit probleem, is de in Londen gevestigde code‑optimalisatiespecialist TurinTech. TurinTech boekt vooruitgang door een combinatie van deep learning en evolutionaire algoritmen. Dit systeem past een bestaand model continu aan op basis van nieuwe informatie in plaats van het vanaf nul te regenereren. 

Volgens Harvey Lewis van Ernst and Young UK kunnen evolutionaire of genetische algoritmen en Bayesiaanse statistische methoden deep learning efficiënter maken, en specialistische hardware kan de kosten verlagen.

Een andere voorgestelde methode is het verbinden van data‑gedreven AI met andere wetenschappelijke of menselijke input over het toepassingsdomein. Pushkar P. Apte, directeur van strategische initiatieven bij CITRIS, en Costas J. Spanos, directeur van CITRIS, schreven over vier manieren om dit te bereiken:

• AI synergeren met wetenschappelijke wetten.
• Data aanvullen met deskundige menselijke inzichten.
• Apparaten inzetten om uit te leggen hoe AI beslissingen neemt.
• Andere modellen gebruiken om gedrag te voorspellen.

Onlangs heeft startup EnCharge een AI‑doorbraak gerealiseerd die het energieverbruik van deze AI‑modellen bij het uitvoeren van voorspellingen drastisch kan verbeteren. Het bedrijf heeft zijn DARPA‑financiering gebruikt om het geheugengebruik te verminderen door een deel van het werk te doen in analoge geheugencircuits, die matrix‑vermenigvuldiging en accumulatie parallel bij laag energieverbruik kunnen uitvoeren in plaats van traditionele transistors. 

“Zo los je het dataverplaatsingsprobleem op.” 

– Naveen Verma, CEO van EnCharge AI en professor aan de afdeling Elektrotechniek van Princeton 

Hij voegde eraan toe dat in plaats van individuele bits te communiceren, het gereduceerde resultaat wordt overgebracht in de vorm van de accumulatie van vele parallelle vermenigvuldigingen.

EnCharge AI is erin geslaagd 150 biljoen bewerkingen per seconde per watt te verwerken. Analoge computing is echter extreem moeilijk te realiseren, en eerdere pogingen waren niet succesvol.

Intussen onderzocht onderzoek door adjunct‑professor Raghavendra Selvan van de afdeling Computerwetenschappen van de UCPH vorig jaar verschillende manieren om de CO2‑voetafdruk van ML te verlagen. Op microniveau kunnen algoritmen sneller en efficiënter worden gemaakt om het resource‑gebruik te verminderen. Dit, merkte hij op, kan worden bereikt door te onderzoeken hoe het aantal bits dat voor de berekeningen wordt gebruikt kan worden gereduceerd en hoe redundante berekeningen kunnen worden verminderd.

Hij stelde verder voor om de noodzaak van alle opgeslagen data te beoordelen. Dus, op macroniveau, door te kijken wanneer en waar de berekeningen (waarvan vele niet tijdkritisch zijn) worden uitgevoerd, kunnen niet‑piekuren worden gekozen voor het trainen van AI‑systemen om de kosten van de trainingssessies en hun CO2‑voetafdruk te verlagen. 

AI gebruiken om AI te verbeteren 

Nu heeft Selvan een benchmark gecreëerd voor het ontwerpen van AI‑modellen die veel minder energie verbruiken zonder hun prestaties te beïnvloeden. Dit vereist echter dat het energieverbruik en de CO2‑voetafdruk als norm worden gebruikt bij het ontwerpen en trainen van deze AI‑modellen.

Hiervoor werden 429.000 AI‑subtype modellen bestudeerd. Deze convolutionele neurale netwerken, die worden gebruikt voor taalvertaling, gezichtsherkenning, objectdetectie en medische beeldanalyse, zouden naar schatting tot 263.000 kWh energie nodig hebben om simpelweg te trainen. 

Ter vergelijking, 263.000 kWh is ongeveer zoveel energie als de gemiddelde Deense burger verbruikt over een periode van meer dan vier decennia. Een computer zou er een eeuw over doen om al deze training te voltooien. 

Dit kolossale energieverbruik zet de industrie aan het werk om het klimaatvriendelijk te maken; echter, de ontwikkeling van energie‑efficiënte AI‑modellen is nog geen realiteit. Volgens Selvan, die mogelijkheden onderzoekt om de CO2‑voetafdruk van AI te verminderen:

“Vandaag richten ontwikkelaars zich smal op het bouwen van AI‑modellen die effectief zijn qua nauwkeurigheid van hun resultaten.” 

Hij vergeleek dit gedrag met een auto, die als goed wordt beschouwd alleen omdat hij je snel op de bestemming brengt zonder rekening te houden met het brandstofverbruik. Hij voegde eraan toe:

“Als gevolg hiervan zijn AI‑modellen vaak inefficiënt in termen van energieverbruik.” 

Zijn nieuwe studie , uitgevoerd met CS‑student Pedram Bakhtiarifard, heeft als doel dit te veranderen door aan te tonen dat het mogelijk is om een grote hoeveelheid CO2e te beperken terwijl de precisie van een AI‑model behouden blijft.

Om dit te bereiken, merkten de UCPH‑onderzoekers op dat we vanaf het begin een energie‑efficiënt model nodig hebben. Dit betekent dat klimaatkosten in overweging moeten worden genomen bij het ontwerpen en tijdens het energie‑intensieve proces van het trainen van AI‑modellen. Selvan zei dat op deze manier de CO2‑voetafdruk kan worden verminderd in “elke fase van de ‘levenscyclus’ van het model,” wat zowel de training als de inzet van het model omvat.

Dus berekenden de onderzoekers de energie die nodig is om honderden duizenden van deze AI‑modellen te trainen. Interessant genoeg trainden de UCPH‑onderzoekers de modellen niet zelf, maar schatten ze met behulp van een ander AI‑model. Op deze manier konden ze het overgrote deel, 99%, van de energie die anders nodig zou zijn, besparen.

Nu, op basis van hun berekeningen, heeft het team een benchmark‑collectie van AI‑modellen gepresenteerd die ongeveer op hetzelfde niveau presteren maar minder energie verbruiken om een taak te voltooien.

Volgens de studie kan het aanpassen van modellen of het gebruiken van andere typen modellen tot 80% energie besparen tijdens de trainings‑ en toepassingsfasen. Wat prestaties betreft, is er weinig tot geen compromis (slechts 1% of zelfs minder). Deze cijfers zijn volgens de onderzoekers zelfs conservatief. 

“Beschouw onze resultaten als een receptenboek voor AI‑professionals. De recepten beschrijven niet alleen de prestaties van verschillende algoritmen, maar ook hoe energie‑efficiënt ze zijn.” 

– Bakhtiarifard

Hij stelde verder dat door simpelweg één ingrediënt in het ontwerp van het model te vervangen door een ander, we “vaak hetzelfde resultaat kunnen behalen.” Dit betekent dat beoefenaars niet eerst elk model hoeven te trainen; ze kunnen er één kiezen op basis van zowel prestaties als energieverbruik.

Aangezien verschillende modellen worden getraind voordat de meest geschikte optie voor een bepaalde taak wordt gevonden, maakt AI‑ontwikkeling “uiterst energie‑intensief,” zei Bakhtiarifard, “zou het klimaatvriendelijker zijn om vanaf het begin het juiste model te kiezen,” en bovendien het model te kiezen dat geen aanzienlijke stroom verbruikt tijdens de trainingsfase.

Hoewel in gebieden zoals zelfrijdende auto’s en de geneeskunde modelprecisie cruciaal is voor veiligheid, en we daar geen compromissen kunnen sluiten, merkten de onderzoekers op dat dit ons niet moet weerhouden van het nastreven van hoge energie‑efficiëntie in andere domeinen. 

De studie, volgens hen, toont aan dat een betere afweging kan worden gevonden waarbij energie‑efficiëntie een standaard is in de ontwikkeling van AI‑modellen, zoals in veel sectoren. Volgens Selvan:

“AI heeft een enorm potentieel. Maar als we duurzame en verantwoorde AI‑ontwikkeling willen waarborgen, hebben we een meer holistische benadering nodig die niet alleen de modelprestaties in gedachten houdt, maar ook de klimaatimpact.” 

De benchmark, genaamd EC‑NAS, is open‑source en kan door andere wetenschappers en bedrijven worden gebruikt om onderzoek naar neural architecture search (NAS) te bevorderen. De studie stelde dat het gebruik van multi‑doel optimalisatie‑algoritmen een balans vindt tussen energieverbruik en nauwkeurigheid. “Met zijn diverse meetwaarden nodigt EC‑NAS uit tot verder onderzoek naar het ontwikkelen van energie‑efficiënte en milieuvriendelijke modellen,” stelde de studie.

AI‑gebaseerde energieoplossingen

Laten we nu kijken naar de bedrijven die de energiesector aanpakken met technologie en actief AI‑gebaseerde energieoplossingen aanbieden:

#1. GE Renewable Energy

Het bedrijf maakt gebruik van intern ontwikkelde AI/ML‑technologie om nauwkeurig de logistieke kosten voor het windturbine‑logistieke proces te voorspellen en te stroomlijnen. Dit jaar heeft GE Proficy uitgebracht voor fabrikanten om duurzaamheid te bereiken terwijl de winstgevendheid wordt gemaximaliseerd. Het heeft ook AI‑aangedreven CERius ingezet om de rapportage‑nauwkeurigheid te verbeteren.

Eerder deze maand splitste General Electric zich op in drie afzonderlijke bedrijven, gericht op luchtvaart, energie en gezondheidszorg, en begon als afzonderlijke entiteiten te handelen op de NYSE. Dus, de energietak heet nu GE Vernova (GEV) en heeft een marktkapitalisatie van $36 miljard terwijl de aandelen handelen op 131,75. In 2023 heeft het bedrijf beveiligd zijn grootste order om een Amerikaans windproject te ondersteunen dat 2,4 GW zal leveren aan het SunZia‑project. Goldman Sachs voorspelt dat het bedrijf tegen 2026 een EBITDA van $4 miljard zal hebben.

#2. Schneider Electric

Het Franse bedrijf van $34,2 miljard maakt gebruik van AI om efficiëntie en productiviteit te verbeteren en tevens de uitdaging van klimaatverandering aan te pakken. Het AI‑gebruik van Schneider Electric draait om datavisualisatie en engineering, optimalisatie en simulatie, en betrouwbaarheid‑modellering. 

Het bedrijf noteerde €36 miljard aan omzet voor het fiscale jaar 2023, een stijging van 13%. Schneider Electric rapporteerde ook een nettowinst van €4 miljard en een vrije kasstroom van €4,6 miljard. 

Conclusie

AI is de technologische revolutie van dit decennium. Aangezien de integratie van AI heeft aangetoond kosten te verlagen en de omzet voor bedrijven te verhogen, terwijl het werknemers betere efficiëntiewinsten biedt, is het duidelijk meer dan alleen een modewoord. AI‑systemen presteren daadwerkelijk beter dan mensen op een reeks taken, hoewel wij nog steeds beter zijn in complexe cognitieve taken.

Echter, het brengt zijn eigen risico’s met zich mee op het gebied van privacy, algoritmische vooroordelen en, zoals hierboven besproken, de negatieve milieu‑impact. Een wereldwijde enquête over houdingen ten opzichte van AI toont ook aan dat mensen nerveus zijn over deze nieuwe technologie, hoewel de meerderheid ziet dat het hun dagelijks leven in de komende jaren zal veranderen. De jongere generatie is optimistischer over AI. 

Naarmate AI een steeds groter deel van ons leven wordt, werken overheden, wetenschappers en bedrijven samen om de risico’s aan te pakken. Regelgevers zijn al begonnen de industrie te reguleren, met meer dan 30 landen die in de afgelopen zeven jaar ten minste één AI‑gerelateerde wet hebben aangenomen. Naarmate meer technologische vooruitgang plaatsvindt, zullen we zien dat AI efficiënter wordt en onze wereld transformeert. 

Klik hier om alles te leren over investeren in kunstmatige intelligentie.