Computing
Baanbrekende gelijktijdige en heterogene multi-threadingtechnologie om computers sneller te maken
Hoewel alle nieuwe apparaten van technologische giganten zoals Apple en Google incrementele verbeteringen bevatten — een eencijferige toename in batterijduur, één nanometer minder voor de processor, wat nog geen optimale opbrengst voor de fabrikanten oplevert, of een paar extra megapixels — rijst de vraag: Zijn zulke bescheiden verbeteringen echt voldoende? Is het toevoegen van meer hardware de oplossing?
Niet volgens associate professor Hung-Wei Tseng van de afdeling Elektrotechniek en Computer Engineering aan de University of California, Riverside (UCR). Hij zegt:
“Je hoeft geen nieuwe processoren toe te voegen omdat je ze al hebt.”
Professor Tseng, samen met een team onderzoekers, ontwikkelde een nieuw softwareframework voor parallelle verwerking genaamd Simultaneous and Heterogeneous Multi-threading (SHMT). Volgens eerste resultaten staat SHMT op het punt de verwerkingssnelheid aanzienlijk te verbeteren en het energieverbruik te verlagen door gebruik te maken van de latente mogelijkheden van huidige processoren in personal computers, mobiele telefoons en andere apparaten.
Door de technologische gemeenschap bestempeld als “baanbrekend”, streeft SHMT ernaar knelpunten in de gegevensstroom te verwijderen en de naadloze samenwerking van vele verwerkingsunits te faciliteren. Deze doorbraak kan niet alleen persoonlijke elektronica beïnvloeden, maar ook datacenters en andere vormen van massaal parallelle computing.
Het Doorbreken van de Knelpunt
Voordat we de volledige glorie van wat haalbaar is met simultane en heterogene multi-threading verkennen, laten we eerst de beperkingen van huidige computersystemen begrijpen.
In de meeste apparaten verwerken verschillende componenten, zoals de centrale verwerkingseenheid (CPU), grafische verwerkingseenheid (GPU) en tensorverwerkingseenheid (TPU), informatie afzonderlijk. Gegevens worden van de ene verwerkingsunit naar de andere overgedragen, wat vaak resulteert in “knelpunten” die de algehele systeemprestaties belemmeren.
Dit wordt verder verergerd door de traditionele programmeermodellen, die taken doorgaans toewijzen aan één type processor, waardoor andere bronnen inactief en onderbenut blijven. Deze observaties weerklinken in het onderzoekspapier ‘Simultaneous and Heterogeneous Multi-threading’ van Kuan-Chieh Hsu en Hung-Wei Tseng, dat stelt:
“De ingebedde programmeermodellen richten zich op het gebruik van alleen de meest efficiënte verwerkingsunits voor elk codegebied, waardoor de verwerkingskracht binnen heterogene computers onderbenut blijft.”
SHMT wijkt af van deze aanpak door de diversiteit van meerdere componenten binnen een computersysteem te benutten. Dit concept staat bekend als heterogeniteit. Door computationele functies op te splitsen en te distribueren over beschikbare verwerkingsunits, faciliteert SHMT echte parallelle verwerking.
Deze aanpak van het ontleden van computationele functies en het distribueren ervan over verschillende verwerkingsunits maximaliseert het gebruik van beschikbare bronnen om de prestaties te verbeteren en energie te besparen. Het onderzoekspapier analyseert verder de tekortkomingen van traditionele programmeermodellen door te stellen dat ze “een codegebied uitsluitend kunnen toewijzen aan één soort processor, waardoor andere rekenbronnen inactief blijven zonder bij te dragen aan de huidige functie.”
SHMT daarentegen streeft ernaar zich te bevrijden van deze beperkingen door de unieke vaardigheden van elke verwerkingsunit te benutten en hun samenwerking op een gedeeld codegebied. De auteurs wijzen ook op het feit dat hedendaagse computertechnologie onmiskenbaar heterogeen is, aangezien alle computerplatformen meerdere soorten verwerkingsunits en hardwareversnellers integreren. Dit vraagt om een programmeermodel dat de kracht van deze diverse componenten effectief kan benutten (wat precies is wat SHMT beoogt te bereiken).
Daarom effent SHMT de weg voor snellere en efficiëntere computing door de knelpunten in de nu traditionele computing aan te pakken.
Hoe Werkt Simultane en Heterogene Multi-Threading Technologie?
Zoals duidelijk is, is het efficiënt beheren en distribueren van computeractiviteiten over verschillende hardwarecomponenten het basisprincipe achter SHMT.
Het framework omvat een verzameling virtuele operaties (VOP’s) om het offloaden van taken van een CPU-toepassing naar een virtueel hardwareapparaat te vergemakkelijken. Volgens de studie “Staat een set virtuele operaties (VOP’s) een CPU-programma toe om een functie ‘off te loaden’ naar een virtueel hardwareapparaat.” Deze VOP’s bemiddelen communicatie en taakdelegatie door een barrière te creëren tussen het programma en de hardware.
Een runtime-systeem optimaliseert de prestaties door de mogelijkheden van elke hardwarebron te evalueren en intelligente planningsbeslissingen te nemen tijdens de uitvoering van de applicatie. Volgens de studie “Tijdens de uitvoering van het programma stuurt een runtime-systeem de virtuele hardware van simultane en heterogene multi-threading aan, waarbij de mogelijkheid van de hardwarebron om planningsbeslissingen te nemen wordt beoordeeld.” Om de efficiëntie van bronnen te maximaliseren en zich aan te passen aan taak‑specifieke behoeften, evalueert SHMT dynamisch de hardwarecapaciteiten.
Het runtime-systeem splitst VOP’s op in high-level operaties (HLOP’s) om ze te distribueren naar verschillende hardware‑taakqueues. Volgens de studie “Het runtime-systeem verdeelt VOP’s in één of meer high-level operaties (HLOP’s) om simultaan meerdere hardwarebronnen te gebruiken.” Het ontleden van VOP’s in HLOP’s biedt gedetailleerde controle over taaktoewijzing en maximale benutting van elke verwerkingsunit.
Het SHMT-planningsbeleid maakt gebruik van een quality-aware work-stealing (QAWS) benadering, die zorgt voor efficiënte bronbenutting en gevarieerde workloads. Volgens de studie “SHMT gebruikt een quality-aware work-stealing (QAWS) planningsbeleid dat geen bronnen opslokt, maar helpt bij het behouden van kwaliteitscontrole en werkbalans.” Naast het effectief distribueren van werk over het systeem, voorkomt deze aanpak dat een verwerkingsunit bronnen ophoopt.
Als SHMT de prestaties wil maximaliseren zonder kwaliteit op te offeren, heeft het het QAWS-planningsbeleid nodig. De studie stelt dat “SHMT moet het resultaat waarborgen zonder aanzienlijke overhead te veroorzaken.” Om te garanderen dat de output van heterogene verwerkingsunits nauwkeurig en consistent is, integreert SHMT kwaliteitscontroletechnieken in de planning.
Het vermogen van SHMT om gebruik te maken van de specifieke mogelijkheden van elk hardwareonderdeel is een groot voordeel. Zoals de studie opmerkt, “SHMT kan de berekening van dezelfde functie opsplitsen over meerdere soorten computerbronnen en maakt tegelijkertijd gebruik van heterogene vormen van parallelisme.” SHMT verbetert de prestaties aanzienlijk omdat het parallelisme in heterogene systemen benut om taken simultaan over verschillende processoren uit te voeren.
Een ander aspect van SHMT dat flexibel en adaptief zou moeten zijn, is het runtime-systeem. En volgens de studie “Aangezien HLOP’s hardware‑onafhankelijk zijn, kan het runtime-systeem de taaktoewijzing aanpassen zoals nodig.” Door zijn aanpasbaarheid kan SHMT direct reageren op veranderingen in hardwarebeschikbaarheid of werklastvereisten, waardoor het systeem op piekefficiëntie en -prestaties blijft draaien.
Over het geheel genomen schetst de studie alle noodzakelijke stappen om te begrijpen hoe SHMT werkt, met aandacht voor de kritieke onderdelen en processen die het in staat stellen opmerkelijke efficiëntie en effectiviteit te bereiken in heterogene computeromgevingen. Dankzij SHMT, dat VOP’s, HLOP’s en de QAWS-planningsstrategie gebruikt om parallelle verwerking te revolutioneren, staat een nieuw tijdperk van efficiënte en krachtige computing op het punt te beginnen.
Positieve Bevindingen uit de Eerste Tests van het Prototype
Om aan te tonen dat SHMT werkt, voerden de onderzoekers van UCR rigoureuze tests uit op een prototypesysteem dat de mogelijkheden van een datacenter nabootste door onderdelen te gebruiken die standaard zijn in hedendaagse mobiele telefoons. Het prototype omvatte een Google Edge TPU geïntegreerd via de M.2 Key E-sleuf van het systeem, een NVIDIA Jetson Nano-module met een quad‑core ARM Cortex‑A57‑processor, en 128 GPU‑kernen met Maxwell‑architectuur.
Om de prestaties van het SHMT-framework onder verschillende werklastomstandigheden te evalueren, lieten de onderzoekers het prototype door een reeks benchmarkprogramma’s gaan. Het resultaat was indrukwekkend: de best presterende QAWS‑strategie verlaagde niet alleen het energieverbruik met 51%, maar verbeterde ook de verwerkingssnelheid met 1,95× ten opzichte van de basistechniek.
De resultaten onderstrepen het potentieel van SHMT om de verwerkingssnelheid en energie‑efficiëntie aanzienlijk te verbeteren over een breed scala aan apparaten en softwaretoepassingen. SHMT toonde aan dat het mogelijk is het maximale uit je huidige configuratie te halen door beter gebruik te maken van alle bronnen, zonder een fortuin uit te geven aan nieuwe hardware.
Met de steeds toenemende behoefte aan snellere en efficiëntere computing, zullen doorbraken zoals simultane en heterogene multi‑threading steeds crucialer worden bij het vormgeven van de toekomstige technologische koers. Het werk van het UCR‑onderzoeksteam maakt duidelijk dat het vinden van langdurige, high‑performance computeroplossingen die zich kunnen aanpassen aan de dynamische eisen van onze digitale wereld nog nooit zo eenvoudig is geweest als met het werk van het UCR‑onderzoeksteam.
Gevolgen en Toekomstige Richtingen van Simultane en Heterogene Multi-Threading
De creatie en testing van SHMT vertegenwoordigen een ingrijpende verschuiving in de toekomst van computing. Het heeft het potentieel om het ontwerp en gebruik van computerapparaten in verschillende toepassingen te revolutioneren door aanzienlijke prestatieverbeteringen en energiebesparingen te bieden met bestaande hardware.
Naarmate SHMT breder wordt geadopteerd, kunnen consumenten dure hardware‑updates vermijden en snellere, responsievere mobiele apparaten, tablets, laptops en desktops genieten. Hierdoor zullen binnenkort meer mensen in staat zijn high‑performance computers aan te schaffen en toegang te krijgen, wat helpt de digitale kloof te verkleinen.
Datacenters en andere grootschalige computersystemen kunnen SHMT ook een onmisbaar hulpmiddel vinden om kosten en energieverbruik te verlagen zonder prestaties op te offeren. Bovendien zullen innovaties die energie‑efficiëntie en duurzaamheid bevorderen, zoals SHMT, aan belang winnen naarmate zorgen over de milieueffecten van technologie toenemen.
Ondanks hun inspanningen erkent het UCR‑onderzoeksteam dat er nog obstakels te overwinnen zijn en kansen voor verdere studie en vooruitgang in de toekomst. Software‑engineers en hardware‑makers zullen nauw moeten samenwerken om SHMT op grote schaal te implementeren. Dit zal garanderen dat de technologie goed functioneert op alle apparaten en platformen. Echter, verder onderzoek is nodig om te bepalen welke toepassingen en werklasten het meest geschikt zijn voor het gebruik van deze revolutionaire technologie.
Ondanks deze obstakels hebben zowel academici als bedrijven de veelbelovende vroege resultaten van SHMT opgemerkt. De mogelijkheid dat deze baanbrekende technologie de computerindustrie kan transformeren, wordt steeds aantrekkelijker naarmate studies vorderen en samenwerkingen worden opgezet.
Net als vele andere briljante ideeën lijkt simultane en heterogene multi‑threading een product van gezond verstand, maar de duivel zit in de details. Terwijl het idee van een gedeelde cache tussen CPU’s en GPU’s intrigerend is, zal het waarschijnlijk een volledige herziening van de hardware‑architectuur vereisen.
Dit zou betekenen dat men afstapt van de huidige x86‑64‑architectuur, en zo’n ontwerp zou de ontwikkeling van een nieuwe processorarchitectuur met een gedeelde L3‑ of L4‑cache vereisen. Dit zou op zijn beurt de complexiteit van de CPU verhogen en mogelijk de voordelen van de gedeelde cache tenietdoen.
Bovendien is cache‑geheugen doorgaans veel kleiner dan het systeem‑RAM en is het niet goed geschikt voor GPU‑toepassingen, die grote hoeveelheden high‑bandbreedte‑geheugen vereisen. Ontwikkelingen zoals universal memory kunnen deze zorgen wegnemen. Naarmate het onderzoek naar SHMT voortduurt, zal het spannend zijn om te zien hoe deze innovatieve technologie evolueert en de toekomst van parallelle verwerking en heterogene computing beïnvloedt.
