Banebrytende simultan og heterogen multitrådingsteknologi for å gjøre databehandling raskere

Selv om alle nye enheter fra teknologigiganter som Apple (AAPL ) og Google har inkrementelle forbedringer – en ensifret økning i batterilevetid, én nanometer mindre for prosessoren, som ennå ikke gir optimal avkastning for produsentene, eller noen ekstra megapiksler – oppstår spørsmålet: Er slike beskjedne forbedringer virkelig nok? Er det å legge til mer maskinvare løsningen?

Ikke ifølge førsteamanuensis Hung-Wei Tseng fra instituttet for elektroteknikk og datateknikk ved University of California, Riverside (UCR). Han sier: 

“Du trenger ikke å legge til nye prosessorer fordi du allerede har dem.”

Professor Tseng, sammen med et team av forskere, utviklet et nytt programvare-rammeverk for parallell behandling kalt Simultaneous and Heterogeneous Multi-threading (SHMT). Ifølge de første resultatene er SHMT klar til å betydelig forbedre behandlingshastigheten og redusere strømforbruket ved å utnytte de latente evnene til dagens prosessorer i personlige datamaskiner, mobiltelefoner og andre enheter.

Betraktet som “banebrytende” av teknologisamfunnet, har SHMT som mål å fjerne flaskehalser i dataflyt og legge til rette for sømløst samarbeid mellom mange behandlingsenheter. Dette gjennombruddet kan påvirke ikke bare personlig elektronikk, men også datasentre og andre former for massiv parallell databehandling.

Klikk her for å lære hvordan avansert fotonikk vil gjøre det mulig for oss å bygge bedre smarttelefoner.

Bryte ned flaskehalsen

Før vi begynner å utforske den fulle prakt av hva som er oppnåelig med simultan og heterogen multitråding, la oss først forstå begrensningene i dagens datasystemer. 

I de fleste enheter håndterer ulike komponenter, som sentral prosesseringsenhet (CPU), grafikkprosesseringsenhet (GPU) og tensorprosesseringsenhet (TPU), informasjon separat. Data overføres fra én behandlingsenhet til en annen, noe som ofte fører til “flaskehalser” som hindrer total systemytelse.

Dette forverres ytterligere av tradisjonelle programmeringsmodeller, som vanligvis delegere oppgaver til én type prosessor, og dermed lar andre ressurser stå ubrukte og underutnyttede. I tråd med disse observasjonene sier forskningsartikkelen ‘Simultaneous and Heterogeneous Multi-threading’ av Kuan-Chieh Hsu og Hung-Wei Tseng: 

“De innarbeidede programmeringsmodellene fokuserer på å bruke kun de mest effektive behandlingsenhetene for hver kodeblokk, og underutnytter prosesseringskraften i heterogene datamaskiner.”

SHMT avviker fra denne tilnærmingen ved å utnytte mangfoldet av flere komponenter i et datasystem. Dette konseptet er kjent som heterogenitet. Ved å bryte ned beregningsfunksjoner og distribuere dem blant tilgjengelige behandlingsenheter, legger SHMT til rette for ekte parallell behandling. 

Denne tilnærmingen med å dekomponere beregningsfunksjoner og distribuere dem blant flere behandlingsenheter maksimerer utnyttelsen av tilgjengelige ressurser for å forbedre ytelse og spare energi. Forskningsartikkelen analyserer videre svakhetene ved tradisjonelle programmeringsmodeller ved å påstå at de “kun kan delegere en kodeblokk eksklusivt til én type prosessor, og lar andre beregningsressurser stå inaktive uten å bidra til den aktuelle funksjonen.” 

SHMT, derimot, har som mål å frigjøre seg fra disse begrensningene ved å utnytte hver behandlingsenhets unike ferdigheter og deres samarbeid på en delt kodeblokk. Forfatterne påpeker også at moderne datateknologi er utvilsomt heterogen, ettersom alle dataplattformer integrerer flere typer behandlingsenheter og maskinvareakseleratorer. Dette krever en programmeringsmodell som effektivt kan utnytte kraften i disse ulike komponentene (nettopp det SHMT har som mål å oppnå).

Dermed baner SHMT vei for raskere og mer effektiv databehandling ved å adressere flaskehalser i nå tradisjonell databehandling. 

Hvordan fungerer simultan og heterogen multitrådingsteknologi?

Som tydelig er håndtering og effektiv distribusjon av databehandlingsaktiviteter blant ulike maskinvarekomponenter det grunnleggende prinsippet bak SHMT.

Rammeverket inkluderer en samling av virtuelle operasjoner (VOPs) for å legge til rette for avlasting av oppgaver fra et CPU-program til en virtuell maskinvarenhet. Ifølge studien, “Et sett med virtuelle operasjoner (VOPs) gjør det mulig for et CPU-program å ‘avlaste’ en funksjon til en virtuell maskinvarenhet.” Disse VOPs formidler kommunikasjon og oppgavefordeling ved å skape en barriere mellom programmet og maskinvaren.

Et kjøretidssystem optimaliserer ytelsen ved å evaluere kapasiteten til hver maskinvareresurs og ta intelligente planleggingsbeslutninger mens applikasjonen kjøres. Ifølge studien, “Under programkjøring styrer et kjøretidssystem den virtuelle maskinvaren for simultan og heterogen multitråding, og vurderer maskinvareresursens evne til å ta planleggingsbeslutninger.” For å maksimere ressursutnyttelse og tilpasse seg oppgavespesifikke behov, evaluerer SHMT dynamisk maskinvarekapasiteter.

Kjøretidssystemet deler VOPs opp i høy-nivå operasjoner (HLOPs) for å distribuere dem til ulike maskinvare-oppgavekøer. Ifølge studien, “Kjøretidssystemet deler VOPs inn i én eller flere høy-nivå operasjoner (HLOPs) for å samtidig bruke flere maskinvare-ressurser.” Å dekomponere VOPs til HLOPs gir granulær kontroll over oppgavefordeling og maksimal utnyttelse av hver behandlingsenhet.

SHMT-planleggingspolitikken benytter en kvalitetsbevisst work-stealing (QAWS) tilnærming, som sikrer effektiv ressursutnyttelse og varierte arbeidsbelastninger. Ifølge studien, “SHMT bruker en kvalitetsbevisst work-stealing (QAWS) planleggingspolitikk som ikke beslaglegger ressurser, men hjelper med å opprettholde kvalitetskontroll og balanse i arbeidsbelastning.” I tillegg til å distribuere arbeid effektivt over systemet, hindrer denne tilnærmingen at noen behandlingsenhet hamstrer ressurser.

Hvis SHMT ønsker å maksimere ytelsen uten å gå på kompromiss med kvalitet, trenger den QAWS-planleggingspolitikken. Studien sier at “SHMT må sikre resultatet uten å pådra seg betydelig overhead.” For å garantere at output fra heterogene behandlingsenheter er nøyaktig og konsistent, integrerer SHMT kvalitetskontrollteknikker i planleggingen.

SHMTs evne til å utnytte de spesifikke egenskapene til hver maskinvarekomponent er et stort pluss. Som studien bemerker, “SHMT kan dele opp beregningen fra samme funksjon til flere typer beregningsressurser og utnytter samtidig heterogene typer parallellisme.” SHMT forbedrer ytelsen betydelig fordi den utnytter parallellisme i heterogene systemer for å kjøre oppgaver samtidig på flere prosessorenheter.

Et annet aspekt ved SHMT som skal være fleksibelt og tilpasningsdyktig er kjøretidssystemet. Og ifølge studien, “Ettersom HLOPs er maskinvare-uavhengige, kan kjøretidssystemet justere oppgavefordelingen etter behov.” På grunn av sin tilpasningsevne kan SHMT reagere umiddelbart på endringer i maskinvaretilgjengelighet eller arbeidsbelastningskrav, og holde systemet i topp effektivitet og ytelse.

Alt i alt beskriver studien alle nødvendige trinn for å forstå hvordan SHMT fungerer, og trekker oppmerksomheten mot de kritiske delene og prosessene som gjør det mulig å oppnå bemerkelsesverdig effektivitet og virkningsfullhet i heterogene datamiljøer. Takket være SHMT, som bruker VOPs, HLOPs og QAWS-planleggingsstrategien for å revolusjonere parallell behandling, er en ny æra av effektiv og kraftig databehandling på vei til å gry.

Positive funn fra den første testingen av prototypen

For å bevise at SHMT fungerer, gjennomførte forskerne ved UCR grundige tester på et prototypesystem som etterlignet datasenterkapasiteter ved å bruke komponenter som er standard i moderne mobiltelefoner. Prototypen inkluderte en Google Edge TPU integrert via systemets M.2 Key E-spor, en NVIDIA (NVDA ) Jetson Nano-modul med en firekjerners ARM Cortex-A57-prosessor, og 128 GPU-kjerner med Maxwell-arkitektur.

For å evaluere SHMT-rammeverkets ytelse under ulike arbeidsbelastningsforhold, kjørte forskerne prototypen gjennom en rekke benchmark-programmer. Resultatet var imponerende: den best presterende QAWS-strategien reduserte ikke bare energiforbruket med 51 % men økte også behandlingsytelsen med 1,95 × sammenlignet med basismetoden.

Resultatene understreker SHMTs potensial til å forbedre behandlingsytelse og energieffektivitet betydelig på tvers av et bredt spekter av enheter og programvareapplikasjoner. SHMT demonstrerte at det er mulig å få mest mulig ut av ditt nåværende oppsett ved å utnytte alle ressursene bedre uten å måtte bruke en formue på ny maskinvare.

Med det stadig økende behovet for raskere og mer effektiv databehandling, vil gjennombrudd som simultan og heterogen multitråding bli stadig viktigere for å forme teknologiens fremtidige utvikling. Arbeidet til UCR-forskerteamet gjør det klart at å finne langsiktige, høyytelses dataløsninger som kan tilpasse seg de dynamiske kravene i vår digitale verden, aldri har vært enklere enn med dette teamets arbeid.

Implikasjoner og fremtidige retninger for simultan og heterogen multitråding

Opprettelsen og testingen av SHMT representerer et dyptgående skifte i fremtiden for databehandling. Det har potensial til å revolusjonere design og bruk av datamaskiner på tvers av flere applikasjoner ved å tilby betydelige ytelsesøkninger og energibesparelser med eksisterende maskinvare.

Etter hvert som SHMT får bredere adopsjon, kan forbrukere unngå kostbare maskinvareoppdateringer og nyte raskere, mer responsive mobiltelefoner, nettbrett, bærbare og stasjonære datamaskiner. På grunn av dette vil flere snart kunne kjøpe og få tilgang til høyytelsesdatamaskiner, noe som bidrar til å redusere den digitale kløften.

Datasentre og andre storskalige datasystemer kan også finne SHMT som et uunnværlig verktøy for å kutte kostnader og energiforbruk uten å gå på kompromiss med ytelse. I tillegg vil innovasjoner som fremmer energieffektivitet og bærekraft, som SHMT, få økt betydning etter hvert som bekymringene for teknologiens miljøpåvirkning øker.

Til tross for deres beste innsats erkjenner UCR-forskerteamet at det fortsatt finnes hindringer som må overvinnes og muligheter for videre undersøkelse og utvikling i fremtiden. Programvareingeniører og maskinvareprodusenter må samarbeide tett for å implementere SHMT i stor skala. Dette vil sikre at teknologien fungerer godt på alle enheter og plattformer. Imidlertid kreves ytterligere forskning for å fastslå hvilke applikasjoner og arbeidsbelastninger som er best egnet for denne revolusjonerende teknologien.

Til tross for disse hindringene har både akademikere og bedrifter lagt merke til SHMTs lovende tidlige resultater. Muligheten for at denne banebrytende teknologien kan transformere databransjen blir stadig mer attraktiv etter hvert som studier skrider frem og samarbeid etableres. 

Som mange andre briljante ideer ser simultan og heterogen multitråding ut til å være et produkt av sunn fornuft, men djevelen ligger i detaljene. Mens ideen om en delt cache mellom CPUer og GPUer er fascinerende, vil den sannsynligvis kreve en fullstendig omlegging av maskinvarearkitekturen.

Det vil kreve å gå bort fra den nåværende x86-64-arkitekturen, og en slik design vil kreve utvikling av en ny prosessorarkitektur med en delt L3- eller L4-cache. Dette vil igjen øke kompleksiteten i CPUen og potensielt oppheve eventuelle fordeler som oppnås fra den delte cachen. 

I tillegg er cache-minnet vanligvis mye mindre sammenlignet med system-RAM og er ikke godt egnet for GPU-applikasjoner, som krever store mengder høybåndbredde-minne. Imidlertid kan utviklinger som universal memory kunne løse disse bekymringene. Etter hvert som forskningen på SHMT fortsetter, vil det bli spennende å se hvordan denne innovative teknologien utvikler seg og påvirker fremtiden for parallell behandling og heterogen databehandling.