För att AI ska förverkliga sin potential måste energibehoven adresseras

Artificial Intelligence (AI) continues to power the 4th industrial revolution, alongside its energy demands. Today, anyone can access advanced AI tools and integrate them into their systems to improve efficiency and reduce workload. The energy required to power these algorithms increases as the demand for AI applications increases. As such, environmentalists are already pointing out sustainability concerns surrounding the tech. Thankfully, a team of researchers has created a highly efficient alternative. here’s what you need to know.

Växande AI-energibehov skapar en energikris

New AI systems continue to launch at an increasing frequency. The most recent global energy use forecast predicts that AI energy consumption will double from 460 terawatt-hours (TWh) in 2022 to 1,000 TWh by 2026. These protocols include recommenders, large language models (LLMs), image and video processing and creation, Web3 services, and more.

Enligt forskarens studie kräver AI-system dataöverföring som motsvarar “200 gånger den energi som används för beräkning när tre 64‑bit källoperander läses och en 64‑bit destinationsoperander skrivs till ett externt huvudminne.”  Därför är minskning av energiförbrukning för artificiell intelligens (AI)‑beräkningsapplikationer ett primärt bekymmer för utvecklare som måste övervinna detta hinder för att uppnå storskalig antagning och mogna tekniken.

Lyckligtvis har en grupp innovativa ingenjörer från University of Minnesota tagit initiativ med en möjlig lösning som kan minska strömförbrukningen för AI‑protokoll med flera storleksordningar. För att uppnå detta introducerar forskarna en ny chipdesign som förbättrar Von Neumann‑arkitekturen som finns i de flesta chip idag.

Von Neumann‑arkitektur

John von Neumann revolutionerade datorsektorn 1945 när han separerade logik‑ och minnesenheter, vilket möjliggjorde mer effektiv beräkning då. I denna uppställning lagras logik och data på olika fysiska platser. Hans uppfinning förbättrade prestanda eftersom båda kunde nås samtidigt.

Källa – University of Minnesota Twin Cities

RAM

Idag använder de flesta datorer fortfarande Von Neumann‑strukturen med din hårddisk som lagrar dina program och det slumpmässiga åtkomstminnet (RAM) som rymmer programmeringsinstruktioner och temporära data. Dagens RAM utför detta med olika metoder inklusive DRAM, som utnyttjar kondensatorer, och SRAM, som har flera kretsar.

Det är anmärkningsvärt att denna struktur fungerade utmärkt i årtionden. Däremot kräver den ständiga överföringen av data mellan logik och minne mycket energi. Denna energitransfer ökar i takt med att datakrav och beräkningsbelastning ökar. Därmed skapar den en prestandaflaskhals som begränsar effektiviteten när beräkningskraften ökar.

Försök till förbättringar av energibehoven

Under åren har många försök gjorts för att förbättra Von Neumanns arkitektur. Dessa försök har skapat olika varianter av minnesprocessen med målet att föra de två handlingarna närmare fysiskt. För närvarande inkluderar de tre huvudvarianterna.

Närminnesbearbetning

Denna uppgradering flyttar logik fysiskt närmare minnet. Detta uppnåddes med en 3D‑staplad infrastruktur. Att flytta logiken närmare minskade avståndet och den energi som behövs för att överföra den data som krävs för att driva beräkningar. Denna arkitektur gav förbättrad effektivitet.

In‑memory‑beräkning

En annan aktuell metod för att förbättra beräkningsarkitektur är in‑memory‑beräkning. Anmärkningsvärt är att det finns två varianter av denna chip‑stil. Den ursprungliga integrerar kluster av logik bredvid minnet på ett enda chip. Denna implementering möjliggör eliminering av transistorer som användes i föregångare. Dock anser många att denna metod inte är “sann” för in‑memory‑strukturen eftersom den fortfarande har separata minnesplatser, vilket innebär att de ursprungliga prestandaproblemen som uppstod på grund av dataöverföringen fortfarande finns, om än i mindre skala.

Sann in‑memory

Den sista typen av chiparkitektur är “sann in‑memory”. För att kvalificera som denna arkitektur måste minnet utföra beräkningar direkt. Denna struktur förbättrar kapabiliteter och prestanda eftersom data för logikoperationer förblir på sin plats. Forskarnas senaste version av sann in‑memory‑arkitektur är CRAM.

(CRAM)

Computational random-access memory (CRAM) möjliggör sann in‑memory‑beräkning då data bearbetas inom samma array. Forskarna modifierade en standard 1T1M STT‑MRAM‑arkitektur för att göra CRAM möjlig. CRAM‑layouten integrerar mikrottransistorer i varje cell och bygger på CPU:er baserade på magnetiska tunneljunctioner.
This approach provides better control and performance. The team then stacked an additional transistor, logic line (LL), and logic bit line (LBL) in each cell, enabling real-time computation within the same memory bank.

CRAM:s historia

Dagens AI‑system kräver en ny struktur som kan möta deras beräkningskrav utan att förvärra hållbarhetsfrågor. Genom att erkänna detta behov bestämde ingenjörerna sig för att fördjupa sig i CRAM:s kapabiliteter för första gången. Deras resultat publicerades i den vetenskapliga tidskriften NPJ under rapporten “Experimentell demonstration av magnetisk tunneljunction‑baserad beräknings‑random‑access‑memory.”

Den första CRAM utnyttjade en MTJ‑enhetsstruktur. Dessa spinttroniska enheter förbättrade tidigare lagringsmetoder genom att använda elektronspinn snarare än transistorer för att överföra och lagra data med MTJ‑metoden. Metoden använder en tunn tunnlingsbarriär som sitter mellan två ferromagnetiska (FM) lager. En liten spänning får dessa elektroner att exciteras och överföras mellan lagren.

Denna överföring skapar ström. Den ger också ett effektivt sätt att läsa och skriva minne. Den senaste CRAM‑uppgraderingen tar detta koncept längre, vilket ger högpresterande resultat samtidigt som energibehoven minskas.

CRAM‑studie

CRAM‑konceptet har utvecklats i flera år. Det har dock inte gjorts någon djupgående testning av dess kapabiliteter förrän nu. Anmärkningsvärt är att studien utnyttjade en rad patenterade koncept som utvecklats av teamet och dess föregångare längs vägen. Till exempel användes Magnetic Random Access Memory (MRAM), som är en viktig komponent i dagens smartklockor, sensorer och mikrokontroller, tillsammans med modifierade MTJ‑enheter för att förbättra prestanda.

CRAM‑tester

Teststadiet krävde att forskarna mätte chipens prestanda under logikexekvering. Forskarna använde en rad strategier för att få så djup insikt som möjligt, inklusive skalär addition, multiplikation och matris‑multiplikation.
Det första steget i processen var att mäta aktivitet under grundläggande minnesoperationer. Därefter ökade teamet beräkningarna med 2‑, 3‑ och 5‑ingångslogikoperationer. Efter detta steg introducerades en 1‑bit fulladder med två olika designer och testades igen. Den sista testningen inkluderade en 1 × 7‑array, vilket gav intressanta resultat.

CRAM‑testresultat visar lägre energibehov

Testresultaten visade hur effektiv den nya proof‑of‑concept‑processen är jämfört med dagens modeller. Data visade i genomsnitt 1000 × mindre strömförbrukning under beräkning. När den kombineras med andra energisparande metoder demonstrerade tillvägagångssättet energibesparingar på 2 500 respektive 1 700 gånger mindre jämfört med traditionella metoder.

Ytterligare funktioner

En annan intressant upptäckt var att CRAM möjliggjorde samtidig slumpmässig åtkomst av data och operander. Denna fördel förbättrar kraftigt parallella beräkningskapaciteter, vilket kan leda till säkrare och stabilare protokoll i framtiden.

Fördelar som CRAM ger till marknaden

Att undersöka de fördelar som CRAM erbjuder hjälper dig att bättre förstå varför detta är ett spel‑förändrande genombrott som snart kan ha en omedelbar effekt på den genomsnittliga personens dagliga aktiviteter. CRAM möjliggör för utvecklare och tillverkare att skapa hårdvara som är perfekt konfigurerad för sin primära uppgift, vilket minskar energibehoven och förbättrar prestanda.

AI – Fokus

Artificiell intelligens förändrar redan så mycket. Dessa system är efterfrågade men kräver specifik hårdvara och mjukvara för att fungera korrekt. CRAM ger tillverkare möjlighet att skapa hårdvara från dag ett som är designad för att stödja datatunga, minnescentrerade eller strömkänsliga applikationer.
I framtiden kommer CRAM driva avancerade AI‑algoritmer såsom bioinformatik, signalbehandling, neurala nätverk, edge‑computing och den mest avancerade militära hårdvaran. CRAM‑arrayen kommer att möjliggöra för utvecklare att skapa bättre presterande maskininlärningsapplikationer som är tillräckligt flexibla för att möta samhällets behov.

Använder en beprövad struktur

En annan stor fördel som gör CRAM till ett smart alternativ är användningen av beprövade hårdvarusystem. Anmärkningsvärt är att CRAM använder vanlig och mogen teknik, vilket ökar konsumenternas förtroende. Det säkerställer också att hårdvaruproblem är ett minimalt bekymmer för användarna.

Flexibel

CRAM ger verklig flexibilitet till utvecklare. Programmerare kan beräkna data var som helst inom minnesarrayen med en rad populära logikoperationer. Specifikt stödjer CRAM AND, OR, NAND, NOR och MAJ, vilket ökar dess mångsidighet.

Snabbare

Hastighet är en annan fördel som inte kan förbises. Det tar tid för data att överföras mellan logik‑ och minneslagringsplatser. Även om denna tid bara är en bråkdel av en sekund kan den ackumuleras och leda till en försämrad användarupplevelse. CRAM eliminerar behovet av långsamma och energikrävande dataöverföringar genom att låta samma minne ansvara för dessa uppgifter.

Parallellism

Parallellism är förmågan att köra samma kod parallellt samtidigt. Det är en viktig komponent i många tillverknings‑, säkerhets‑ och industriella operationer. På grund av CRAM:s struktur kan den köra samma logik parallellt över samma minnesarray samtidigt.

Tillverkningskostnader

CRAM kommer också att sänka tillverkningskostnaderna för högkvalitativa enheter genom att minska antalet delar som behövs för att bygga en produkt. CRAM använder samma minne för logik och data, vilket innebär att tillverkare kan skapa chip med färre komponenter. Denna struktur minskar kostnader och förbättrar tillförlitlighet och prestanda.

Forskare

Denna forskning leddes av Tema från University of Minnesota. De ledande forskarna inkluderade Jian-Ping Wang, McKnight‑professor, och Robert F. Hartmann. Dessutom spelade Ulya Karpuzcu, Robert Bloom, Husrev Cilasun, Robert och Marjorie Henle, Sachin Sapatnekar, Brandon Zink, Zamshed Chowdhury och Salonik Resch viktiga roller i studien. Ett team från Arizona University assisterade också, inklusive Pravin Khanal, Ali Habiboglu och professor Weigang Wang.
Forskningsarbetet möjliggjordes av bidrag från U.S. Defense Advanced Research Projects Agency (DARPA), National Institute of Standards and Technology (NIST), National Science Foundation (NSF) och Cisco Inc. Projektet genomförde också tester och studier vid Minnesota Nano Center och Minnesota Supercomputing Institute vid University of Minnesota.

Två företag som kan dra nytta av minskade AI‑energibehov

Det finns många tillverkare som kan säkra ytterligare intäkter eller förbättra sin produktlinje genom att helt enkelt integrera CRAM‑alternativ. Dessa företag har starka marknadspositioner och har förmågan att integrera ny teknik på ett sätt som kraftigt förbättrar deras erbjudanden.

Microsoft

(MSFT )

Microsoft är en stor aktör på AI‑ och datamarknaderna. Företaget är fortsatt en pionjär inom sektorn och har varit en betydande bidragsgivare till tekniken i över ett decennium. Idag har Microsoft en stor andel i AI‑sektorn och strävar efter att förbli en konkurrenskraftig aktör framöver.
Microsofts AI‑tjänster har en stor fördel gentemot konkurrenterna eftersom de förblir det huvudsakliga operativsystemet som används globalt. Därmed har Microsofts AI‑system en enorm publik av användare och tillgängliga data. Dessa data har hjälpt Microsoft att skapa kraftfulla nya AI‑algoritmer som en dag kommer att fungera som kärnan i de senaste Windows‑operativsystemen.

Arm Holdings

(ARM )

Arm Holdings gick in på marknaden 1990. Företaget grundades av Sophie Wilson och Steve Furber. Ursprungligen hette företaget Advanced RISC Machines (ARM) Ltd. innan det bytte namn till Arm Holdings 1998. I början av 2000‑talen byggde Arm Holdings ett rykte som en kvalitetsleverantör som erbjuder GPU:er och andra produkter på marknaden.
Idag är det fortfarande en ledande IP‑leverantör och halvledartillverkare. Företaget köptes 2016 av Softbank för 32  miljarder dollar och har sedan dess sett betydande tillväxt. Tillverkaren skulle kunna kraftigt minska sitt miljöavtryck samtidigt som prestanda och intäkter förbättras genom att integrera CRAM i sina nuvarande erbjudanden.

AI:s framtid kommer att bero på dess energibehov

Den främsta faktorn som begränsar AI‑adoption är dess energibehov. Dessa behov kräver att människor tänker utanför ramarna för att skapa lösningar på flaskhalsar som begränsar prestanda. Den senaste studien öppnar dörren till en ljusare framtid där AI‑tjänster får tillgång till låg‑effekt‑lösningar som stärker hela samhället.

Lär dig mer om andra spännande artificiella intelligens‑projekt nu.