Banbrytande simultan och heterogen multi-threading-teknik för att göra datoranvändning snabbare

Även om alla nya enheter från teknikjättar som Apple och Google har stegvisa förbättringar – en ensiffrig ökning av batteritiden, en nanometer mindre för processorn, som ännu inte ger optimal avkastning för tillverkarna, eller några extra megapixlar – frågan uppstår: Är sådana blygsamma förbättringar verkligen tillräckligt? Är lösningen att lägga till mer hårdvara?

Inte enligt docent Hung-Wei Tseng från Department of Electrical and Computer Engineering vid University of California, Riverside (UCR). Han säger: 

"Du behöver inte lägga till nya processorer eftersom du redan har dem."

Professor Tseng, tillsammans med ett team av forskare, utvecklat ett nytt mjukvaruramverk för parallell bearbetning kallas Simultaneous and Heterogeneous Multi-threading (SHMT). Enligt de första resultaten är SHMT redo att avsevärt förbättra bearbetningshastigheten och minska strömförbrukningen genom att utnyttja de latenta funktionerna hos nuvarande processorer i persondatorer, mobiltelefoner och andra enheter.

SHMT, utpekat som "banbrytande" av teknikgemenskapen, syftar till att ta bort dataflödesflaskhalsar och underlätta det sömlösa samarbetet mellan många bearbetningsenheter. Detta genombrott kan påverka inte bara personlig elektronik utan även datacenter och andra typer av massivt parallella datorer.

Klicka här för att lära dig hur avancerad fotonik gör det möjligt för oss att bygga bättre smartphones.

Att bryta ner flaskhalsen

Innan vi ger oss ut för att utforska den fulla härligheten av vad som är möjligt med simultan och heterogen multi-threading, låt oss först förstå begränsningarna hos nuvarande datorsystem. 

I de flesta enheter hanterar olika komponenter, som centralprocessorn (CPU), grafikprocessorenheten (GPU) och tensorprocessorenheten (TPU), information separat. Data överförs från en bearbetningsenhet till en annan, vilket ofta resulterar i "flaskhalsar" som hindrar systemets övergripande prestanda.

Detta förvärras ytterligare av de traditionella programmeringsmodellerna, som vanligtvis delegerar uppgifter till en enda typ av processor, vilket lämnar andra resurser overksamma och underutnyttjade. I linje med dessa observationer konstaterar forskningsartikeln "Simultaneous and Heterogeneous Multi-threading" av Kuan-Chieh Hsu och Hung-Wei Tseng: 

"De förankrade programmeringsmodellerna fokuserar på att endast använda de mest effektiva bearbetningsenheterna för varje kodregion, vilket underutnyttjar processorkraften i heterogena datorer."

SHMT tar en avvikelse från detta tillvägagångssätt genom att utnyttja mångfalden av flera komponenter i ett datorsystem. Detta koncept är känt som heterogenitet. Genom att bryta ner beräkningsfunktioner och fördela dem mellan tillgängliga bearbetningsenheter, underlättar SHMT sann parallell bearbetning. 

Detta tillvägagångssätt att sönderdela beräkningsfunktioner och fördela dem mellan flera bearbetningsenheter maximerar utnyttjandet av tillgängliga resurser för att förbättra prestanda och spara energi. Forskningsartikeln dissekerar vidare bristerna hos traditionella programmeringsmodeller genom att säga att de "bara kan delegera en kodregion exklusivt till en typ av processor, vilket gör att andra datorresurser blir lediga utan att bidra till den nuvarande funktionen." 

SHMT, å andra sidan, syftar till att bryta sig loss från dessa begränsningar genom att utnyttja varje processorenhets distinkta färdigheter och deras samarbete i en gemensam kodregion. Författarna påpekar också att modern datorteknik är onekligen heterogen, eftersom alla datorplattformar integrerar flera typer av processorenheter och hårdvaruacceleratorer. Detta kräver en programmeringsmodell som effektivt kan utnyttja kraften hos dessa olika komponenter (vilket är precis vad SHMT syftar till att uppnå).

Därför banar SHMT vägen för snabbare och mer effektiv datoranvändning genom att ta itu med flaskhalsarna i nu traditionell datoranvändning. 

Hur fungerar simultan och heterogen multitrådsteknik?

Som uppenbart är hantering och distribution av datoraktiviteter effektivt mellan olika hårdvarukomponenter grundprincipen bakom SHMT. 

Ramverket inkluderar en samling virtuella operationer (VOP) för att underlätta avlastningen av uppgifter från en CPU-applikation till en virtuell hårdvaruenhetEnligt studien ”tillåter en uppsättning virtuella operationer (VOP) ett CPU-program att 'avlasta' en funktion till en virtuell hårdvaruenhet.” Dessa VOP förmedlar kommunikation och jobbdelegering genom att skapa en barriär mellan programmet och hårdvaran.

Ett runtime-system optimerar prestandan genom att utvärdera varje hårdvaruresurs kapacitet och fatta intelligenta schemaläggningsbeslut medan applikationen körs. Enligt studien "driver ett runtime-system samtidig och heterogen multitrådnings virtuella hårdvara under programkörning, vilket mäter hårdvaruresursens förmåga att fatta schemaläggningsbeslut." För att maximera resurseffektiviteten och anpassa sig till jobbspecifika behov utvärderar SHMT dynamiskt hårdvarukapaciteten.

Runtime-systemet delar upp VOP:er i högnivåoperationer (HLOPs) för att distribuera dem till olika hårdvaruuppgiftsköer. Enligt studien, "Rörtidssystemet delar upp VOP:er i en eller flera högnivåoperationer (HLOPs) för att samtidigt använda flera hårdvaruresurser." Genom att sönderdela VOP:er till HLOP:er uppnås granulär kontroll över jobbtilldelning och maximalt utnyttjande av varje bearbetningsenhet.

SHMT:s schemaläggningspolicy använder en kvalitetsmedveten arbetsstöldstrategi (QAWS), vilket säkerställer effektivt resursutnyttjande och varierande arbetsbelastningar. Enligt studien ”använder SHMT en kvalitetsmedveten arbetsstöldstrategi (QAWS) som inte tar upp resurser, utan hjälper till att upprätthålla kvalitetskontroll och balans i arbetsbelastningen.” Förutom att fördela arbetet effektivt över systemet, hindrar denna metod alla bearbetningsenheter från att hamstra resurser.

Om SHMT vill maximera prestanda utan att offra kvalitet behöver den QAWS schemaläggningspolicy. Studien säger att "SHMT måste säkerställa resultatet utan att ådra sig betydande omkostnader." För att garantera att utdata från heterogena bearbetningsenheter är korrekt och konsekvent, integrerar SHMT kvalitetskontrolltekniker i schemaläggning.

SHMT:s förmåga att använda sig av de specifika funktionerna hos varje hårdvara är ett stort plus. Som studien noterar, "SHMT kan bryta upp beräkningen från samma funktion till flera typer av datorresurser och utnyttjar heterogena typer av parallellism under tiden." SHMT förbättrar prestandan avsevärt eftersom den använder parallellism i heterogena system för att köra jobb samtidigt över flera processorenheter.

En annan aspekt av SHMT som ska vara flexibel och adaptiv är runtime-systemet. Och enligt studien, "Eftersom HLOPs är hårdvaruoberoende, kan runtime-systemet justera uppgiftstilldelningen efter behov." På grund av dess anpassningsförmåga kan SHMT reagera direkt på förändringar i hårdvarutillgänglighet eller krav på arbetsbelastning, vilket håller systemet igång med maximal effektivitet och prestanda.

Sammantaget lägger studien ut alla nödvändiga steg för att förstå hur SHMT fungerar, och uppmärksammar de kritiska delarna och processerna som gör att den kan uppnå anmärkningsvärd effektivitet och effektivitet i heterogena datormiljöer. Tack vare SHMT, som använder VOPs, HLOPs och QAWS-schemaläggningsstrategin för att revolutionera parallell bearbetning, är en ny tid av effektiv och kraftfull datoranvändning på väg att gry.

Positiva resultat från inledande testning av prototypen

För att bevisa att SHMT fungerar, genomförde forskarna vid UCR rigorösa tester på ett prototypsystem som imiterade datacenterfunktioner genom att använda standardkomponenter i moderna mobiltelefoner. Prototypen inkluderade en Google Edge TPU integrerad via systemets M.2 Key E-kortplats, en NVIDIA Jetson Nano-modul med en fyrkärnig ARM Cortex-A57-processor och 128 GPU-kärnor med Maxwell-arkitektur.

För att utvärdera SHMT-ramverkets prestanda under olika arbetsbelastningsförhållanden körde forskarna prototypen genom en uppsättning benchmarkprogram. Resultatet var imponerande: den bäst presterande QAWS-strategin minskade inte bara energiförbrukningen med 51 % utan förbättrade också bearbetningsprestandan med 1.95 gånger jämfört med baslinjetekniken.

Resultaten understryker SHMT:s potential att avsevärt förbättra bearbetningsprestanda och energieffektivitet över ett brett spektrum av enheter och programvaruapplikationer. SHMT visade att det är möjligt att få ut det mesta av sin nuvarande installation genom att bättre utnyttja alla sina resurser utan att behöva spendera en förmögenhet på ny hårdvara.

Med det ständigt ökande behovet av snabbare och effektivare datoranvändning kommer genombrott som simultan och heterogen multi-threading att bli allt viktigare för att forma teknikens framtida bana. UCR-forskargruppens arbete gör det tydligt att det aldrig har varit enklare att hitta långsiktiga, högpresterande datorlösningar som kan anpassas till de dynamiska kraven i vår digitala värld än med arbetet i UCR-forskarteamet.

Implikationer och framtida riktningar av samtidig och heterogen multitrådning

Skapandet och testningen av SHMT representerar en djupgående förändring i framtiden för datoranvändning. Den har potential att revolutionera design och användning av datorenheter i flera applikationer genom att erbjuda avsevärda prestandaökningar och energibesparingar med befintlig hårdvara.

I takt med att SHMT får ett bredare antagande kan konsumenter kanske undvika dyra hårdvaruuppdateringar och njuta av snabbare, mer lyhörda mobila enheter, surfplattor, bärbara datorer och stationära datorer. På grund av detta kommer fler människor snart att kunna köpa och få tillgång till högpresterande datorer, vilket hjälper till att överbrygga den digitala klyftan.

Även datacenter och andra storskaliga datorsystem kan finna att SHMT är ett oumbärligt verktyg för att minska kostnader och energianvändning utan att offra prestanda. Dessutom kommer innovationer som främjar energieffektivitet och hållbarhet, såsom SHMT, att få större betydelse i takt med att oron för teknikens miljöpåverkan eskalerar.

Trots sina bästa ansträngningar inser UCR-forskargruppen att det fortfarande finns hinder att övervinna och möjligheter till mer utredning och framsteg i framtiden. Mjukvaruingenjörer och hårdvarutillverkare kommer att behöva arbeta nära tillsammans för att implementera SHMT i stor skala. Detta kommer att garantera att tekniken fungerar bra på alla enheter och plattformar. Det krävs dock ytterligare forskning för att avgöra vilka applikationer och arbetsbelastningar som är mest lämpade för att använda denna revolutionerande teknik.

Trots dessa hinder har både akademiker och företag uppmärksammat SHMT:s lovande tidiga resultat. Möjligheten att denna banbrytande teknik kan förändra datorindustrin blir alltmer attraktiv i takt med att studierna fortskrider och samarbeten etableras. 

Liksom många andra briljanta idéer verkar simultan och heterogen multi-threading vara en produkt av sunt förnuft, men djävulen sitter i detaljerna. Även om idén om en delad cache mellan CPU:er och GPU:er är spännande, kommer det sannolikt att kräva en fullständig översyn av hårdvaruarkitekturen.

Det skulle motivera att man flyttade bort från den nuvarande x86-64-arkitekturen, och en sådan design skulle kräva utvecklingen av en ny processorarkitektur med en delad L3- eller L4-cache. Detta skulle i sin tur öka komplexiteten hos CPU:n och potentiellt förneka alla fördelar som uppnås med den delade cachen. 

Utöver det är cacheminnet vanligtvis mycket mindre jämfört med system-RAM och är inte väl lämpat för GPU-applikationer, som kräver stora mängder minne med hög bandbredd. Men utvecklingen som universellt minne kan lösa dessa problem. När forskningen om SHMT fortsätter, kommer det att bli spännande att se hur denna innovativa teknik utvecklas och påverkar framtiden för parallell bearbetning och heterogen beräkning.