AI möter effektivitet: Ett nytt chip minskar LLM-strömförbrukningen med 50 %

Den pågående boomen inom artificiell intelligens (AI) leder till en ökning av antalet datacenter, vilket driver en enorm efterfrågan på ström för att driva och kyla servrarna inuti dem.

Även om det finns över 8,000 XNUMX datacenter världen över, varav de flesta ligger i USA, kommer detta antal att öka avsevärt under de kommande åren. 

Enligt Boston Consulting Groups uppskattning kommer efterfrågan på datacenter att öka med 15–20 % varje år fram till 2030. Vid det här laget förväntar sig företaget att de kommer att utgöra 16 % av den totala amerikanska elförbrukningen, en ökning från endast 2.5 % innan OpenAI:s ChatGPT-lansering 2022.

Under tiden särskild rapport om energi och AI från Internationella energiorganet (IEA) som släpptes i år, förväntas att efterfrågan på el från datacenter runt om i världen kommer att minst fördubblas i slutet av detta decennium till cirka 945 TWh. Detta motsvarar nästan vad Japan förbrukar idag. 

Den Parisbaserade autonoma mellanstatliga organisationen rapporterar att AI är den största drivkraften bakom denna ökning, med en elefterfrågan från AI-optimerade datacenter som förväntas mer än fyrdubblas fram till 2030.

I USA specifikt kommer datacenters elförbrukning redan att stå för ungefär hälften av tillväxten i elbehovet fram till 2030. Driven av AI-användningen kommer den amerikanska ekonomin, enligt rapporten, att förbruka mer el för att bearbeta data vid den tidpunkten än för att tillverka alla energiintensiva varor tillsammans.

Denna omättliga hunger efter energi utgör ett enormt problem för utvecklingen och införandet av AI. Ljuspunkten är dock det växande antalet forskare och företag som arbetar med att minska AI:s energiförbrukning och göra den mer energieffektiv.

Det intressanta med dessa insatser är att många av dem använder AI för att ta itu med sina egna energiutmaningar.

Just denna månad demonstrerade ett forskarteam ett nytt chip som använder AI för att minska energiavtrycket för stora språkmodeller (LLM) med 50 %, vilket markerar en viktig utveckling för att göra LLM:er kostnadseffektiva och mer hållbara att driva.

Nytt chip utnyttjar AI för att minska LLM:s energiförbrukning

Forskare från Oregon State University College of Engineering utvecklade det nya effektiva AI-chippet för att lösa det enorma elförbrukningsproblemet hos LLM AI-applikationer som OpenAI:s GPT-4 och Googles Gemini.

En typ av maskininlärningsmodell (ML), en stor språkmodell (LLM), är förtränad på stora mängder data för att utföra naturliga språkbehandlingsuppgifter (NLP) som textgenerering, sammanfattning, förenkling, textresonemang, språköversättning med mera.

De mest populära och använda chatbotarna idag inkluderar OpenAI:s GPT-4o, o3 och o1, Gemini och Gemma från Google, Llama från Meta, R1 och V3 från DeepSeek, Claude från Anthropic, Nova från Amazon, Phi från Microsoft och Grok från xAI.

Under de senaste åren har juridikexperter helt förändrat AI-området genom att göra det möjligt för maskiner att förstå och generera människoliknande text med större noggrannhet. Denna utveckling av juridikexperter har dock resulterat i en exponentiell ökning av deras storlek.  

En LLM:s storlek, som mäts i antalet parametrar, är den huvudsakliga drivkraften för dess energiförbrukning. Det betyder att ju större modellen är, desto större är dess behov av beräkningskraft för träning och inferens. 

Till exempel hade ChatGPT-1 strax under 120 miljoner parametrar, vilket ökade till 175 miljarder parametrar med GPT-3, och sedan till ungefär 1.8 biljoner parametrar med GPT-4.

Denna enorma ökning av LLM:ers storlek och kapacitet innebär att deras energiförbrukning också ökar i en aldrig tidigare skådad skala. Förutom modellens storlek påverkar faktorer som vilken typ av hårdvara som används för att träna dessa LLM:er, träningsprocessens varaktighet, infrastruktur, dvs. datacenter, databehandling, modelloptimering och algoritmeffektivitet, LLM:ernas energiförbrukning.

Därav det nya chipet från OSU-forskarna. Enligt Tejasvi Anand, docent i elektroteknik vid OSU som också leder Mixed Signal Circuits and Systems Lab vid universitetet:

”Problemet är att den energi som krävs för att överföra en enda bit inte minskar i samma takt som efterfrågan på datahastighet ökar. Det är det som gör att datacenter använder så mycket ström.”

För att övervinna detta problem designade och utvecklade teamet ett nytt chip som bara förbrukar hälften så mycket energi jämfört med konventionella konstruktioner.

Anand och doktoranden Ramin Javad presenterade denna nya teknik vid IEEE Custom Integrated Circuits (CIC)-konferensen, som hölls i Boston förra månaden. Konferensen, som är värd för forum, paneler, utställningar och muntliga presentationer, ägnas åt utvecklingen av integrerade kretsar (IC), som fungerar som byggstenen i moderna elektroniska system genom att tillhandahålla funktionalitet och processorkraft i ett kompakt och effektivt paket.

Den senaste tekniken byggdes med stöd av Center for Ubiquitous Connectivity (CUbiC), Semiconductor Research Corporation (SRC) och Defense Advanced Research Projects Agency (DARPA). Den gav också Javadi priset för bästa studentuppsats på konferensen.

För det nya chipet utnyttjade forskarna faktiskt AI-principer som, noterade Javadi, minskar elförbrukningen för signalbehandling.

Som han förklarade skickar och tar emot juridiktekniker (LLM) mycket data via trådbundna anslutningar, vilka är kopparbaserade kommunikationslänkar i datacenter. Hela denna process kräver betydande energi, så en potentiell "lösning är att utveckla effektivare trådbundna kommunikationschip".

Javadi noterade vidare att när data skickas med höga hastigheter blir de faktiskt korrumperade i mottagarens slut, och som ett resultat måste de rensas upp. För detta ändamål använder majoriteten av befintliga trådbundna kommunikationssystem en equalizer, som förbrukar mycket ström.

"Vi använder dessa AI-principer on-chip för att återställa data på ett smartare och mer effektivt sätt genom att träna den inbyggda klassificeraren att känna igen och korrigera felen."

– Javadi

Även om det är en stor utveckling är detta bara den första versionen av chipet. Nästa iteration är för närvarande under utveckling för att ytterligare förbättra dess energieffektivitet.

Sammantaget visar denna pågående forskning stor potential att ha långtgående konsekvenser för framtiden för AI-infrastruktur och datacenterdrift. Men det skulle naturligtvis kräva att tekniken implementeras framgångsrikt i stor skala, vilket aldrig är en lätt uppgift.

Klicka här för att läsa om hur AI vänder upp och ner på mikrochiptekniken.

Tämja AI:s energibegär med genombrott över olika lager

Denna senaste chiputveckling är bara ett av många forskningsprojekt som tar itu med AI:s energiförbrukningsproblem. Så låt oss ta en kort titt på de innovativa sätt som forskare har åtgärdat det.

Använda ljus för AI-energieffektivitet 

Tidigare i år, USST-forskare utvecklade¹ ett mikroskopiskt AI-chip, mindre än ett dammkorn eller ett saltkorn, som använder ljus för att bearbeta data från fiberoptiska kablar. Detta lovar snabbare beräkningar med mindre energiförbrukning.

Chipet manipulerar ljus för att utföra beräkningar direkt snarare än att tolka ljussignaler som traditionella datorer gör. För detta använder det "heloptiskt diffraktivt djupt neuralt nätverk", en teknik som använder mönstrade, 3D-printade lager av komponenter staplade tillsammans. Även om det är banbrytande måste utmaningar som uppgiftsspecifik design, känslighet för brister och svårigheter att producera i stor skala övervinnas för att uppnå "oöverträffade funktioner" inom endoskopisk avbildning, kvantberäkning och datacenter.

Några månader innan dess använde MIT-forskare även ljus för att utföra de viktigaste operationerna i ett neuralt nätverk på ett chip, vilket möjliggjorde ultrasnabba AI-beräkningar (på en halv nanosekund) med 92 % noggrannhet och massiv energieffektivitet.

"Detta arbete visar att databehandling – i grunden mappningen av indata till utdata – kan kompileras till nya arkitekturer av linjär och ickelinjär fysik som möjliggör en fundamentalt annorlunda skalningslag för beräkning kontra ansträngning som behövs."

– Författare Dirk Englund

forskarna utvecklade det fotoniska chipet², som är tillverkad av sammankopplade moduler som bildar ett optiskt neuralt nätverk. Användningen av kommersiella gjuteriprocesser för dess tillverkning innebär att den kan skalas upp och integreras i elektronik. Dessutom övervann forskare utmaningen med ickelinjäritet inom optik genom att designa ickelinjära optiska funktionsenheter (NOFU) som kombinerar elektronik och optik.

Klicka här för att lära dig mer om den nya hjärninspirerade AI:n som lär sig i realtid med ultralåg strömförbrukning.

Ett programvaruverktyg för AI-utbildning och ett kylsystem för datacenter

Forskarna vid University of Michigan, under tiden, riktade mot energislöseriet skapas vid tidpunkten för AI-träning, mer specifikt när den delas upp mellan GPU:er, en nödvändighet för att bearbeta enorma datamängder, ojämnt. 

Så de utvecklade ett programvaruverktyg som heter Perseus som identifierar deluppgifter som tar längst tid att slutföra och sedan minskar hastigheten på processorer som inte befinner sig på denna "kritiska väg" för att göra det möjligt för dem alla att slutföra sina uppgifter samtidigt, vilket eliminerar onödig strömförbrukning.

Detta verktyg med öppen källkod är tillgängligt som en del av Zeus, ett verktyg för att mäta och optimera AI-energiförbrukning.

Samtidigt vände sig forskare från University of Missouri till utforma ett nästa generations kylsystem för att hjälpa datacenter att bli mer energieffektiva. De tillverkar också ett kylsystem för enkel anslutning och frånkoppling i serverrack.

”Kylning och chiptillverkning går hand i hand. Utan ordentlig kylning överhettas komponenterna och går sönder. Energieffektiva datacenter kommer att vara nyckeln till framtidens AI-datoranvändning.”

- Chanwoo Park, professor i maskin- och flyg- och rymdteknik vid Mizzou College of Engineering

Med stöd av 1.5 miljoner dollar i finansiering från DOE:s COOLERCHIPS-initiativ utvecklade teamet ett tvåfaskylsystem som avleder värme från serverchips genom fasförändring. Det kan inte bara köras passivt utan att använda någon energi när det behövs för mindre kylning, utan även i aktivt läge använder systemet en mycket liten mängd.

CRAM-hårdvara kan minska AI-energianvändningen med 1000 gånger

Förra sommaren, ingenjörer vid University of Minnesota Twin Cities utvecklade en avancerad hårdvaruenhet³ det skulle kunna minska AI:s energiförbrukning med cirka 1,000 XNUMX gånger.

Den här nya modellen kallas CRAM (Computational Random Access Memory), och här lämnar data aldrig minnet; snarare bearbetas de fullständigt inom minnesmatrisen, vilket eliminerar behovet av energikrävande och långsamma dataöverföringar.

Denna studie, som har varit under arbete i två decennier, är en del av teamets arbete med att bygga vidare på seniorförfattaren Jian-Ping Wangs patenterade forskning om magnetiska tunnelövergångar (MTJ)-komponenter. Dessa nanostrukturerade komponenter används för att förbättra sensorer, hårddiskar och andra mikroelektroniska system som Magnetic Random Access Memory (MRAM).

”Som ett extremt energieffektivt digitalt baserat minnesbaserat beräkningssubstrat är CRAM mycket flexibelt genom att beräkningar kan utföras var som helst i minnesmatrisen”, konstaterade medförfattaren Ulya Karpuzcu, docent vid institutionen för elektro- och datateknik. Det kan också omkonfigureras för att bäst passa prestandabehoven hos olika algoritmer.

Hjärninspirerad AI: Minska energianvändningen genom att imitera mänsklig effektivitet

Så, som vi såg, tittar forskare på olika aspekter av AI för att hantera dess energiproblem. Intressant nog vänder de sig också till den mänskliga hjärnan för inspiration. Detta är logiskt, AI är trots allt simulering av mänskliga intelligensprocesser av maskiner, även om det är inte i närheten av mänskligt tänkande och resonemang på grund av att dess förmåga att generalisera över variationer är "betydligt svagare än mänsklig kognition".

Den hjärninspirerade forskningen om energireduktion inkluderar arbetet av docent Chang Xu vid universitetets Sydney AI Centre, som noterade att juridikstudenter som utnyttjar resurserna med full kapacitet, även för enkla uppgifter, inte är rätt sätt att göra saker på. Han förklarade:

”När man tänker på en frisk mänsklig hjärna – så aktiverar den inte alla nervceller eller använder all sin hjärnkraft samtidigt. Den arbetar med otrolig energieffektivitet, bara 20 watt, trots att den har cirka 100 miljarder nervceller, som den selektivt använder från olika hjärnhalvor för att utföra olika uppgifter eller tänkande.” 

Därför utvecklar de algoritmer som kringgår de redundanta beräkningar som inte behövs och inte automatiskt går in i hög växel.

I andra fall hämtade forskningen inspiration från hjärnans neuromodulering och skapade en algoritm som kallas en 'förvaringssystemför att minska energin med 37 % utan någon försämring av noggrannheten, hjärncellens självreparerande funktion som kallas astrocyter för hårdvaruenheter, och fick neuromorfisk (hjärninspirerad) form av datoranvändning (memristorer) till jobba tillsammans i flera undergrupper av neurala nätverk.

Investera i artificiell intelligens

Ett globalt halvledarföretag, AMD (AMD ) är känt för sina högpresterande dator-, grafik- och visualiseringstekniker. Samtidigt som de konkurrerar direkt med AI-favoriten NVIDIA (NVDA ), vinner snabbt mark på marknaderna för datacenter och AI-acceleratorer. Dess MI300-serie riktar sig specifikt till generationens AI-arbetsbelastningar och HPC-applikationer.

Dess ledande närvaro inom datacenter-CPU-området, starka fokus på FoU, intäktstillväxt, kundkrets och förvärv gör AMD till en stark aktör i sektorn.

Advanced Micro Devices (AMD )

År 2022 ingick AMD ett rekordstort avtal inom chipindustrin värt 50 miljarder dollar genom förvärvet av Xilinx för att bli branschens ledare inom högpresterande och adaptiva datorer. Och nyligen slutförde de förvärvet av ZT Systems för att adressera möjligheten att bygga en AI-accelerator för datacenter värd 500 miljarder dollar år 2028.

AMDs marknadsutveckling återhämtar sig också i år efter att ha drabbats av turbulens kring tullar. I skrivande stund handlas AMD-aktier till 120 dollar, en minskning med 6.9 % hittills i år, men bara cirka 47 % från toppen från mars 2024. Med det är börsvärdet 182.34 miljarder dollar, med en vinst per aktie (TTM) på 1.36 och ett P/E (TTM) på 82.44.

När det gäller företagets ekonomi rapporterade AMD en ökning av intäkterna med 36 % jämfört med föregående år till 7.4 miljarder dollar för första kvartalet 1, vilket VD Dr. Lisa Su kallade "en enastående start" på året, "trots den dynamiska makro- och regelmiljön". Denna tillväxt drevs av "expanderande datacenter och AI-momentum", tillade hon.

Under denna period uppgick AMDs rörelseresultat till 806 miljoner dollar, nettoresultatet till 709 miljoner dollar och utspädd vinst per aktie till 0.44 dollar. För andra kvartalet 2 prognostiserar de cirka 2025 miljarder dollar i intäkter. 

Några viktiga utvecklingar som företaget har gjort inkluderar utökningen av strategiska partnerskap med Meta Platforms Inc. (META ) (Lama), Alfabet Inc. (GOOGL ) (Gemma), Oracle Corporation (ORCL ), Kärna42, Dell Technologies (DELL )och andra. AMD, tillsammans med Nokia, Cisco Systems, Inc. (CSCO )och Jio tillkännagav också en ny öppen telekomplattform för AI som ska erbjuda AI-drivna lösningar för att förbättra effektivitet, säkerhet och funktioner.

Den här veckan samarbetade AMD och Nvidia med Humain, ett AI-fokuserat dotterbolag till Saudiarabiens Public Investment Fund, för att leverera halvledare till ett storskaligt datacenterprojekt som förväntas ha en kapacitet på 500 MW.

Klicka här för en lista över de bästa företagen inom icke-kiselbaserad databehandling.

Senaste trenderna och utvecklingen inom avancerade mikroenheter (AMD)

Slutsats

Under de senaste åren har AI-manin sett en explosionsartad tillväxt, och det av goda skäl. Denna teknik har trots allt stor potential att omvandla ett brett spektrum av branscher, från sjukvård, tillverkning och materialvetenskap till finans, underhållning, utbildning, detaljhandel och cybersäkerhet.

Tekniska framsteg, växande användning och efterföljande expansion av dessa LLM:er har dock resulterat i en betydande efterfrågan på energi, vilket bidrar till utsläpp av växthusgaser och klimatförändringar, ökar de ekonomiska kostnaderna och påverkar teknikens hållbarhet.

Detta utgör en stor utmaning för AI. Om vi ​​vill utnyttja dess verkliga potential fullt ut i form av minskade kostnader, ökad produktivitet och förbättrat beslutsfattande i stor skala, måste modellerna uppnå kostnadseffektivitet och hållbarhet.

Det goda är dock att forskare runt om i världen redan arbetar hårt med att göra AI energieffektivt, vilket framgår av Oregon States AI-drivna chip, vilket tyder på en stark möjlighet att koppla innovation till hållbarhet.

Naturligtvis måste de föreslagna teknologierna övervinna sitt största hinder för att uppnå verklig effekt, nämligen skalbarhet. Ändå är en sak klar: den grönare AI-framtiden är genomförbar, och den kommer!

Klicka här för att lära dig allt om att investera i artificiell intelligens.

Refererade studier:

1. Yu, H., Huang, Z., Lamon, S., Wu, J., Zhao, Z., Lin, D., Zhao, H., Zhang, J., Lu, C., Liu, H., Zhang, X., & Zhang, C. (2025). Heloptisk bildtransport genom en multimodfiber med hjälp av ett miniatyriserat diffraktivt neuralt nätverk på den distala fasetten. Nature Photonics, 19, 486–493. https://doi.org/10.1038/s41566-025-01621-4
2. Bandyopadhyay, S., Sludds, A., Krastanov, S., Youssry, A., Zhang, L., Lian, C., Yu, S., Desiatov, B., Burek, MJ, Lukin, MD, & Lončar, M. (2024). Fotoniskt djupt neuralt nätverk med ett enda chip och endast framåtriktad träning. Nature Photonics, 18, 1335–1343. https://doi.org/10.1038/s41566-024-01567-z
3. Lv, Y., Zink, BR, Bloom, RP, Roy, A., Vaddi, K., Shang, L., & Manipatruni, S. (2024). Experimentell demonstration av beräkningsmässigt RAM-minne baserat på magnetiska tunnelövergångar. npj Unconventional Computing, 1, 3. https://doi.org/10.1038/s44335-024-00003-3