VRoxy: onderzoek naar samenwerking op afstand met VR en robotica in 2023

Dit artikel uit 2023 beschrijft onderzoek naar virtual reality (VR) en robotica. In een Amerikaanse enquête uit 2020 had bijna een op de vijf volwassenen VR al eens geprobeerd of een headset in bezit. Dat betekende niet dat een vijfde regelmatig VR gebruikte, en het is geen actueel wereldwijd gebruikscijfer. Naast games en entertainment worden ook professionele toepassingen onderzocht.

Onderzoekers van Brown University en Cornell University ontwikkelden VRoxy: een onderzoeksprototype voor aanwezigheid op afstand via een robot. Het systeem reageert op bewegingen en gebaren van iemand met een VR-headset.

Het doel was samenwerking mogelijk te maken tussen een gebruiker in een kleine ruimte en collega’s in een grotere ruimte. De robot vertegenwoordigt de gebruiker op de werkplek; het systeem was geen algemeen beschikbare commerciële dienst.

Volgens onderzoeker Mose Sakashita kan VR bewegingstechnieken uit games gebruiken, bijvoorbeeld een virtuele sprong naar een andere plek.

Sakashita was destijds promovendus in informatiewetenschap aan Cornell.

Zijn toelichting was:

Een gebruiker kan fysiek in een kleine ruimte blijven en toch samenwerken met mensen in een veel grotere omgeving op afstand. De virtuele verplaatsing is geen fysieke teleportatie van de robot.

VRoxy bouwde voort op Cornells ReMotion. Dat eerdere systeem vereiste vergelijkbare werkruimtes en overeenkomstige apparatuur aan beide kanten. VRoxy koppelde een kleine gebruikersruimte aan grotere werkgebieden en bracht lichaamstaal over via een robot.

De gebruiker ziet met de headset de werkplek op afstand en wordt daar vertegenwoordigd door een robot. Lopen binnen een taakgebied, wijzen, knikken en gezichtsuitdrukkingen kunnen worden doorgegeven. De gebruiker en de collega’s blijven op hun eigen fysieke locaties.

De onderzoekers presenteerden dit in 2023 als een vroege demonstratie voor samenwerking op afstand. Het werk sluit aan bij vraagstukken rond robotvertegenwoordigers en augmented reality (AR), maar VR en AR zijn verschillende technologieën. De beschreven bediening gebruikt VR.

VRoxy: samenwerking op afstand 

Het onderzoek draagt de titelVRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxyen werd gepresenteerd op UIST 2023, het ACM-symposium dat van 29 oktober tot en met 1 november in San Francisco plaatsvond. Het combineert de weergave van meerdere werkgebieden met bediening via een robot. 

Een VR-interface kan een ruimtelijk beeld van een robotomgeving bieden en bepaalde bedieningstaken ondersteunen. Kortere taakduur, betere prestaties of voorkeur voor VR hangen echter van taak en onderzoek af. Het zijn geen algemene garanties voor iedere toepassing.

Brandon Woodard, destijds promovendus bij Brown en onderzoeker in de Visual Computing Group, lichtte toe dat werkplekken sterk in afmetingen verschillen. Het artikel noemde eerdere stages bij Nvidia (NVDA ), MIT Lincoln Laboratory, NASA’s Jet Propulsion Laboratory en Intel (INTC ). Het ruimteverschil, bijvoorbeeld tussen een thuiskantoor en een laboratorium, is het praktische probleem dat VRoxy onderzocht.

Eerdere robotvertegenwoordigers konden belangrijke non-verbale signalen weergeven, maar hadden vaak vergelijkbare apparatuur en ruimte aan beide kanten nodig. VRoxy onderzocht een opzet met een VR-headset in een kleine ruimte en een robot op de grotere werkplek.

Het systeem koppelt taakgebieden in de grotere omgeving aan de beperkte ruimte van de gebruiker. Virtuele verplaatsingspunten laten de gebruiker een andere locatie kiezen; de robot rijdt vervolgens naar het bijbehorende punt. Het gaat niet simpelweg om het willekeurig vergroten van elke kleine beweging. 

In de liveweergave ziet de gebruiker de omgeving voor interactie met collega’s. De navigatieweergave toont een vereenvoudigde driedimensionale omgeving met virtuele doorgangen. De overgang verbergt de verplaatsing van de robot en is bedoeld om de ervaring soepeler te maken en bewegingsziekte te beperken; dat is geen garantie dat niemand klachten krijgt. 

De automatische navigatie is bedoeld om minder aandacht te hoeven besteden aan handmatig sturen. Voor contact op de werkplek gebruikt de robot onder meer een 360gradencamera. 

De Quest Pro kan hoofdbewegingen, gezichtsuitdrukkingen en kijkrichting vastleggen; ook wijzen maakt deel uit van de interactie. De robot heeft een scherm en een mechanische aanwijzer. Die aanwijzer is geen grijparm waarmee de gebruiker al voorwerpen kan oppakken. 

VRoxy kan virtueel schakelen tussen werkgebieden. Bij een overgang naar een ander gebouw wordt een andere robot actief; de eerste robot springt niet fysiek tussen gebouwen. De demonstratie laat mogelijkheden zien, geen bewezen inzetbaarheid in iedere omgeving.

Robotarmen om voorwerpen te manipuleren en zelfstandig in kaart brengen van ruimtes waren toekomstplannen. Het systeem gebruikte in 2023 plafondmarkeringen voor navigatie. De vergelijking met een Roomba beschreef een gewenste latere mogelijkheid, niet een al aanwezige functie.

Medeauteurs waren Hyunju Kim, Ruidong Zhang, Brandon Woodard en François Guimbretière, naast hoofdauteur Mose Sakashita. Het onderzoek werd gesteund door de National Science Foundation en de Nakajima Foundation.

VR en robotica combineren

Het idee van VR heeft een lange voorgeschiedenis. De combinatie met robotica kent verschillende toepassingen en beperkingen; het is geen enkel uniform productgebied. 

VR kan worden gebruikt voor robotbediening op afstand en onderzoek naar samenwerking tussen mens en robot. Sommige robotische systemen bieden tast- of krachtfeedback voor VR, maar dat betekent niet dat elk VRoxy-prototype zulke feedback heeft.

Betaalbare headsets en betere bewegingsregistratie maakten meer experimenten mogelijk. Beschikbaarheid en prijs zijn echter niet de enige factoren: verbinding, vertraging, veiligheid, taakontwerp en gebruiksgemak blijven van belang.

Herconfigureerbare systemen kunnen zich aanpassen aan bepaalde werkbehoeften. Of VR de communicatie met een robot verbetert, moet per toepassing worden beoordeeld.

Onderzoekstoepassingen omvatten bijvoorbeeld simulaties voor medische opleiding, training in robotbediening en verkenning van moeilijk bereikbare omgevingen. Een simulatie vermindert blootstelling aan bepaalde oefenrisico’s, maar bewijst niet automatisch betere klinische resultaten of volledig veilige bediening in de praktijk. 

VRoxy onderzocht hoe collega’s op verschillende locaties ruimtelijke signalen kunnen delen. Het prototype kan ideeën opleveren voor teams die nauw moeten afstemmen; brede commerciële geschiktheid was hiermee niet bewezen.

VR en robotica kunnen opleiding en het verzamelen van demonstraties voor robots ondersteunen. De meerwaarde hangt af van het leerdoel, de apparatuur en de evaluatie.

Onderwijs op afstand en virtuele locatiebezoeken zijn denkbare toepassingen. De beschrijving betreft mogelijkheden vanuit het onderzoek van 2023, niet reeds aangetoonde installatie in al deze sectoren.

Bedrijfsvoorbeelden uit 2023 

De volgende voorbeelden hebben betrekking op robotica, beeldverwerking of chirurgische systemen. Dat maakt de bedrijven niet automatisch tot partners van VRoxy. Beurscijfers zijn historisch; ingebedde grafieken kunnen worden bijgewerkt.

1. Cambrian Intelligence

Het artikel beschreef algoritmen voor machine-intelligentie en interfaces voor bediening op afstand bij Cambrian Intelligence . Hand- en armbewegingen, bewegingstracking, VR en haptiek maakten deel uit van die toenmalige beschrijving. De huidige website richt zich op driedimensionale beeldherkenning voor industriële robotarmen; dat is niet hetzelfde als VRoxy.
Het artikel noemde per 21 september 2023 een totaal van 3.793.919 dollar aan financiering. Dat precieze historische bedrag is hier niet onafhankelijk bevestigd met een primaire financieringsbron. Het verwees onder meer naar een vroege investering, een subsidie van het toenmalige EU-agentschap EASME en ff Venture Capital. Een niet gespecificeerde financieringsronde is geen ronde die officieel “onbekende serie” heet.

2. Intel 

Intel ontwikkelt halfgeleiders en technologie die ook in beeldverwerking en robotica kan worden toegepast. Het met Intel verbonden MiDaS 3.1 schat relatieve diepte uit één beeld. Het officiële project vermeldt december 2022 als releasedatum; in juli 2023 verscheen het technische verslag. Relatieve diepte is niet automatisch een nauwkeurige afstandsmeting in meters.

INTC Prijsgrafiek

De genoemde Intel-koers van 38,73 dollar, stijging van 46,69% sinds jaarbegin en dividendrendement van 1,29% waren een momentopname uit 2023. Voor het derde kwartaal van 2023 rapporteerde Intel 14,2 miljard dollar omzet, 8% minder dan een jaar eerder. De verwaterde winst per aandeel bedroeg 0,07 dollar volgens GAAP, tegenover 0,41 dollar op aangepaste non-GAAP-basis. 
Pat Gelsinger, destijds CEO, benadrukte bij die cijfers de voortgang van producten en productieprocessen, nieuwe klanten voor chipproductie en de inzet op AI. Dat was zijn beoordeling van het kwartaal, geen garantie voor toekomstige resultaten. 

3. Vicarious Surgical

Dit bedrijf ontwikkelde een chirurgisch robotsysteem. Betere uitkomsten en minder ingrijpende buikoperaties waren ontwerpdoelen, geen door deze beschrijving bewezen klinische voordelen. Vicarious Surgical beschrijft een patiëntmodule met twee robotarmen, camera’s en een bedieningsconsole met driedimensionaal zicht. Een VR-headset kwam voor in vroege demonstraties, maar de onderneming vermeldt expliciet dat deze geen deel uitmaakt van de eerste generatie. Het bedrijf vermeldt ook dat het systeem geen FDA-markttoelating heeft en niet commercieel in de VS te koop is. Een Breakthrough Device-aanwijzing is geen markttoelating. 

RBOT Prijsgrafiek

Per 30 juni 2023 had Vicarious Surgical ongeveer 82,8 miljoen dollar aan liquide middelen en kortlopende beleggingen; dat is geen kwartaalomzet. In juli 2023 verwachtte het bedrijf medio 2024 een eerste ventrale-breukoperatie bij een patiënt. Dat was een toenmalig plan, niet het bewijs dat de ingreep al was uitgevoerd of goedgekeurd. Een vierde overeenkomst met een Amerikaans ziekenhuisnetwerk bracht het aantal ziekenhuizen dat door de partners werd vertegenwoordigd boven 250: niet 250 afzonderlijke netwerkcontracten of geïnstalleerde robots. De koers van 0,4263 dollar, K/W −0,68 en winst per aandeel −0,63 in het artikel waren historische beursgegevens, niet de winst per aandeel van Q2 of actuele cijfers. Latere aandelenwijzigingen beperken directe koersvergelijkingen; een negatieve K/W toont geen winstgevendheid.

Slotbeschouwing

VR wordt onderzocht en gebruikt voor verschillende vormen van training, visualisatie en samenwerking. De mate van invoering verschilt sterk per sector. De demonstratie van één prototype bewijst geen brede acceptatie in alle genoemde bedrijfstakken. 

De combinatie met robotica biedt mogelijkheden, maar vraagt financiering, technische ontwikkeling, veiligheidsbeoordeling en waar nodig goedkeuring. Verkenning en zorg kunnen ervan profiteren zonder dat daarmee concrete uitkomsten al vaststaan.

De in 2023 genoemde termijn van vijf tot tien jaar verwees naar ongeveer 2028–2033. Het was een verwachting, geen gegarandeerd invoeringsschema en geen nieuwe termijn vanaf vandaag.

Bekijk het overzicht van aandelen rond augmented reality en virtual reality.