Banbrytande simultan och heterogen multitrådningsteknologi för att göra databehandling snabbare

Även om alla nya enheter från teknikjättar som Apple och Google har inkrementella förbättringar—en ensiffrig ökning av batteritiden, en nanometer mindre för processorn, vilket ännu inte ger optimal avkastning för tillverkarna, eller några extra megapixlar—uppstår frågan: Är sådana blygsamma förbättringar verkligen tillräckliga? Är det att lägga till mer hårdvara som är lösningen?

Inte enligt docent Hung-Wei Tseng från avdelningen för elektroteknik och datorteknik vid University of California, Riverside (UCR). Han säger: 

“Du behöver inte lägga till nya processorer eftersom du redan har dem.”

Professor Tseng, tillsammans med ett forskarteam, utvecklade ett nytt mjukvaruramverk för parallellbearbetning kallat Simultaneous and Heterogeneous Multi-threading (SHMT). Enligt de första resultaten är SHMT redo att avsevärt förbättra bearbetningshastigheten och minska energiförbrukningen genom att utnyttja de latenta kapaciteterna hos nuvarande processorer i persondatorer, mobiltelefoner och andra enheter.

Hyllad som “banbrytande” av teknikgemenskapen syftar SHMT till att eliminera flaskhalsar i dataflödet och underlätta sömlöst samarbete mellan många bearbetningsenheter. Detta genombrott kan påverka inte bara personliga elektronik utan även datacenter och andra former av massivt parallellberäkning.

Klicka här för att lära dig hur avancerad fotonik kommer att möjliggöra bättre smartphones.

Bryta ner flaskhalsen

Innan vi ger oss in på att utforska den fulla glansen av vad som är möjligt med simultan och heterogen multitrådning, låt oss först förstå begränsningarna i nuvarande datorsystem. 

I de flesta enheter hanterar olika komponenter, som centralprocessoren (CPU), grafikprocessorn (GPU) och tensorprocessorn (TPU), information separat. Data överförs från en bearbetningsenhet till en annan, vilket ofta resulterar i “flaskhalsar” som hindrar den totala systemprestandan.

Detta förvärras ytterligare av traditionella programmeringsmodeller, som vanligtvis delegerar uppgifter till en enda typ av processor, vilket lämnar andra resurser inaktiva och underutnyttjade. I linje med dessa observationer säger forskningsartikeln ‘Simultaneous and Heterogeneous Multi-threading’ av Kuan-Chieh Hsu och Hung-Wei Tseng: 

“De etablerade programmeringsmodellerna fokuserar på att endast använda de mest effektiva bearbetningsenheterna för varje kodregion, vilket underutnyttjar processorkraften i heterogena datorer.”

SHMT avviker från detta tillvägagångssätt genom att utnyttja mångfalden av flera komponenter inom ett datorsystem. Detta koncept är känt som heterogenitet. Genom att bryta ner beräkningsfunktioner och distribuera dem bland tillgängliga bearbetningsenheter möjliggör SHMT sann parallellbearbetning. 

Detta tillvägagångssätt att dekomponera beräkningsfunktioner och distribuera dem bland flera bearbetningsenheter maximerar utnyttjandet av tillgängliga resurser för att förbättra prestanda och spara energi. Forskningsartikeln analyserar vidare bristerna i traditionella programmeringsmodeller genom att påstå att de “endast kan delegera en kodregion exklusivt till en typ av processor, vilket lämnar andra beräkningsresurser inaktiva utan att bidra till den aktuella funktionen.” 

SHMT, å andra sidan, syftar till att bryta sig loss från dessa begränsningar genom att utnyttja varje bearbetningsenhets unika färdigheter och deras samarbetsarbete på en gemensam kodregion. Författarna påpekar också att modern datorteknik utan tvekan är heterogen, eftersom alla dataplattformar integrerar flera typer av bearbetningsenheter och hårdvaruacceleratorer. Detta kräver en programmeringsmodell som effektivt kan utnyttja kraften i dessa olika komponenter (vilket exakt är vad SHMT strävar efter att uppnå).

Därför banar SHMT vägen för snabbare och mer effektiv databehandling genom att åtgärda flaskhalsarna i den nu traditionella databehandlingen. 

Hur fungerar teknologin för simultan och heterogen multitrådning?

Som tydligt framgår är hantering och fördelning av beräkningsaktiviteter effektivt bland olika hårdvarukomponenter den grundläggande principen bakom SHMT. 

Ramverket innehåller en samling virtuella operationer (VOPs) för att underlätta avlastning av uppgifter från ett CPU-program till en virtuell hårdvaruenhet. Enligt studien, “En uppsättning virtuella operationer (VOPs) tillåter ett CPU-program att ‘avlasta’ en funktion till en virtuell hårdvaruenhet.” Dessa VOPs medlar kommunikation och uppgiftsdelegering genom att skapa en barriär mellan programmet och hårdvaran.

Ett körsystem optimerar prestanda genom att utvärdera varje hårdvarus kapacitet och fatta intelligenta schemaläggningsbeslut medan applikationen körs. Enligt studien, “Under programkörning styr ett körsystem den virtuella hårdvaran för simultan och heterogen multitrådning, och bedömer hårdvaruresursens förmåga att fatta schemaläggningsbeslut.” För att maximera resurseffektiviteten och anpassa sig till specifika arbetsbehov utvärderar SHMT dynamiskt hårdvarukapaciteter.

Körsystemet bryter ner VOPs till högnivåoperationer (HLOPs) för att distribuera dem till olika hårdvaruuppgiftsköer. Enligt studien, “Körsystemet delar upp VOPs i en eller flera högnivåoperationer (HLOPs) för att samtidigt använda flera hårdvaruresurser.” Att dekomponera VOPs till HLOPs ger fin kontroll över uppgiftsallokering och maximal utnyttjning av varje bearbetningsenhet.

SHMT:s schemaläggningspolicy använder en kvalitetsmedveten work-stealing (QAWS) metod, vilket säkerställer effektiv resursanvändning och varierade arbetsbelastningar. Enligt studien, “SHMT använder en kvalitetsmedveten work-stealing (QAWS) schemaläggningspolicy som inte snor resurser, utan hjälper till att upprätthålla kvalitetskontroll och balans i arbetsbelastning.” Förutom att effektivt distribuera arbete över systemet förhindrar denna metod att någon bearbetningsenhet samlar på sig resurser.

Om SHMT vill maximera prestanda utan att kompromissa med kvaliteten, krävs QAWS-schemaläggningspolicyn. Studien påstår att “SHMT måste säkerställa resultatet utan att medföra betydande overhead.” För att garantera att resultatet från heterogena bearbetningsenheter är exakt och konsekvent integrerar SHMT kvalitetskontrolltekniker i schemaläggningen.

SHMT:s förmåga att utnyttja de specifika kapaciteterna hos varje hårdvaruenhet är en stor fördel. Som studien noterar, “SHMT kan dela upp beräkningen från samma funktion till flera typer av beräkningsresurser och utnyttjar samtidigt heterogena typer av parallellism.” SHMT förbättrar prestandan avsevärt eftersom den använder parallellism i heterogena system för att köra uppgifter samtidigt över flera processor­enheter.

En annan aspekt av SHMT som förväntas vara flexibel och anpassningsbar är körsystemet. Och enligt studien, “Eftersom HLOPs är hårdvaruoberoende kan körsystemet justera uppgiftsfördelningen efter behov.” På grund av sin anpassningsförmåga kan SHMT reagera i realtid på förändringar i hårdvarutillgänglighet eller arbetsbelastningskrav, vilket håller systemet i topprestanda och effektivitet.

Sammanfattningsvis redogör studien för alla nödvändiga steg för att förstå hur SHMT fungerar, och lyfter fram de kritiska delarna och processerna som möjliggör en anmärkningsvärd effektivitet och verkningsgrad i heterogena beräkningsmiljöer. Tack vare SHMT, som använder VOPs, HLOPs och QAWS-schemaläggningsstrategin för att revolutionera parallellbearbetning, är en ny era av effektiv och kraftfull databehandling på väg att gryr.

Positiva resultat från den initiala testningen av prototypen

För att bevisa att SHMT fungerar utförde forskarna vid UCR rigorösa tester på ett prototypsystem som efterliknade datacenterkapacitet genom att använda komponenter som är standard i moderna mobiltelefoner. Prototypen inkluderade en Google Edge TPU integrerad via systemets M.2 Key E‑slot, en NVIDIA Jetson Nano-modul med en fyrkärnig ARM Cortex‑A57-processor och 128 GPU-kärnor med Maxwell‑arkitektur.

För att utvärdera SHMT‑ramverkets prestanda under olika arbetsbelastningsförhållanden körde forskarna prototypen genom en rad benchmark‑program. Resultatet var imponerande: den högst presterande QAWS‑strategin minskade inte bara energiförbrukningen med 51 % utan förbättrade även bearbetningsprestandan med 1,95 × jämfört med grundtekniken.

Resultaten understryker SHMT:s potential att avsevärt förbättra bearbetningsprestanda och energieffektivitet över ett brett spektrum av enheter och mjukvaruapplikationer. SHMT visade att det är möjligt att få ut det mesta av din nuvarande konfiguration genom att bättre utnyttja alla dess resurser utan att behöva spendera en förmögenhet på ny hårdvara.

Med det ständigt ökande behovet av snabbare och mer effektiv databehandling kommer genombrott som simultan och heterogen multitrådning att bli allt viktigare för att forma teknikens framtida utveckling. Arbetet från UCR:s forskningsteam visar tydligt att det aldrig har varit enklare att hitta långsiktiga, högpresterande beräkningslösningar som kan anpassa sig till de dynamiska kraven i vår digitala värld än genom UCR‑teamets arbete.

Implikationer och framtida riktningar för simultan och heterogen multitrådning

Skapandet och testandet av SHMT representerar ett djupgående skifte i framtidens databehandling. Det har potential att revolutionera design och användning av datorenheter över flera tillämpningar genom att erbjuda betydande prestandaökningar och energibesparingar med befintlig hårdvara.

När SHMT får bredare antagande kan konsumenter undvika dyra hårdvaruuppdateringar och njuta av snabbare, mer responsiva mobila enheter, surfplattor, bärbara datorer och stationära datorer. På grund av detta kommer fler människor snart kunna köpa och få tillgång till högpresterande datorer, vilket hjälper till att minska den digitala klyftan.

Datacenter och andra storskaliga beräkningssystem kan också finna SHMT som ett oumbärligt verktyg för att minska kostnader och energiförbrukning utan att offra prestanda. Dessutom kommer innovationer som främjar energieffektivitet och hållbarhet, såsom SHMT, att få ökad betydelse i takt med att oro över teknikens miljöpåverkan ökar.

Trots sina bästa ansträngningar inser UCR:s forskningsteam att det fortfarande finns hinder att övervinna och möjligheter till ytterligare undersökning och utveckling i framtiden. Mjukvaruingenjörer och hårdvarutillverkare måste samarbeta nära för att implementera SHMT i stor skala. Detta kommer att säkerställa att tekniken fungerar väl på alla enheter och plattformar. Dock krävs ytterligare forskning för att fastställa vilka applikationer och arbetsbelastningar som är mest lämpade för att använda denna revolutionerande teknik.

Trots dessa hinder har både akademiker och företag lagt märke till SHMT:s lovande tidiga resultat. Möjligheten att denna banbrytande teknik kan omvandla datorindustrin blir alltmer attraktiv när studierna fortskrider och samarbeten etableras. 

Som många andra lysande idéer verkar simultan och heterogen multitrådning vara en produkt av sunt förnuft, men djävulen sitter i detaljerna. Även om idén om en delad cache mellan CPU:er och GPU:er är fascinerande, kommer den sannolikt att kräva en fullständig omstrukturering av hårdvaruarkitekturen.

Det skulle kräva att man lämnar den nuvarande x86‑64‑arkitekturen, och en sådan design skulle kräva utvecklingen av en ny processorarkitektur med en delad L3‑ eller L4‑cache. Detta skulle i sin tur öka CPU‑ns komplexitet och potentiellt upphäva eventuella fördelar som erhållits från den delade cachen. 

Dessutom är cacheminnet vanligtvis mycket mindre jämfört med system‑RAM och är inte väl lämpat för GPU‑applikationer, som kräver stora mängder högbandbreddsmemory. Dock kan utvecklingar som universal memory ta itu med dessa bekymmer. När forskningen kring SHMT fortsätter blir det spännande att se hur denna innovativa teknik utvecklas och påverkar framtiden för parallellbearbetning och heterogen databehandling.