Barrières Doorbreken: Hoe VR-robotica de Toekomst van Naadloze Professionele Samenwerking Vormt

De virtual reality (VR) industrie groeit in een snel tempo, met bijna één op de vijf Amerikaanse consumenten die VR gebruikten in 2020. Maar terwijl momenteel de gaming- en entertainmentsectoren de grootste drijfveren van de wereldwijde VR-groei zijn, vindt deze meeslepende technologie ook haar weg naar andere levenssferen.

Onderzoekers van Brown University en Cornell University werken aan het uitbreiden van het gebruik van VR in professionele omgevingen. Het omvat een telepresence-robot die automatisch en in realtime reageert op de bewegingen en gebaren van een externe gebruiker in virtual reality.

Hiervoor heeft het onderzoeksteam het robotsysteem VRoxy ontwikkeld, een controllerloze, VR-gestuurde robotproxy die de potentie heeft om hands-on samenwerking mogelijk te maken tussen mensen die op afstand werken in een kleine ruimte, zoals een kantoor, met teamgenoten die in een veel grotere ruimte werken.

“Het grote voordeel van virtual reality is dat we alle soorten locomotietechnieken kunnen benutten die mensen gebruiken in virtual reality-games, zoals direct van de ene positie naar de andere verplaatsen.”

– Mose Sakashita, Ph.D.-student in Informatie Wetenschap aan Cornell.

Hij voegde toe:

“Deze functionaliteit stelt externe gebruikers in staat om fysiek een zeer beperkte ruimte in te nemen, maar toch samen te werken met teamgenoten in een veel grotere externe omgeving.”

Dus heeft het team VRoxy gecreëerd, gebaseerd op een vergelijkbare robot van Cornell genaamd ReMotion, die fysieke ruimte inneemt namens een externe gebruiker en automatisch de bewegingen van de gebruiker in realtime weerkaatst, waarbij cruciale lichaamstaal wordt overgebracht die anders verloren gaat in standaard virtuele omgevingen. De functionaliteit van ReMotion was beperkt tot scenario’s waarin beide gebruikers – de lokale en de externe – identieke hardwareconfiguraties en vergelijkbaar grote werkruimtes hadden. VRoxy heeft deze beperking echter overwonnen.

Wat het softwareprogramma VRoxy doet, is dat het een gebruiker op een externe locatie in staat stelt een VR-headset op te zetten en virtueel naar een ruimte te worden getransporteerd, zoals een kantoor, laboratorium of een andere omgeving waar hun collega’s fysiek werken. Op de fysieke locatie wordt de externe gebruiker vervolgens weergegeven via een robot, die hen in staat stelt zich door die omgeving te bewegen met natuurlijke bewegingen, zoals lopen. Bovendien kan de externe gebruiker samenwerken met collega’s via gebaren zoals wijzen naar objecten, hoofdbewegingen zoals knikken, en zelfs gezichtsuitdrukkingen via de robotproxy.

Hoewel het zich momenteel nog in een vroeg stadium bevindt, zeggen de onderzoekers dat de software al het potentieel heeft om enkele van de grootste uitdagingen aan te pakken die gepaard gaan met het gebruik van robotproxy’s en augmented reality (AR)-software voor remote samenwerking.

VRoxy: Revolutie in Remote Samenwerking 

Het artikel “VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy” werd gepresenteerd op het Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST) van dit jaar, gehouden van 29 oktober tot 1 november in San Francisco. Het onderzoeksartikel toont aan hoe VRoxy het in kaart brengen van meerdere fysieke locaties naar een verenigde virtuele ruimte kan faciliteren. 

Virtual reality biedt de mogelijkheid om intuïtieve interfaces te creëren door gebruikers onder te dompelen in een 3D-omgeving waarin ze robots kunnen bekijken en ermee kunnen interageren in gedeelde of externe omgevingen, waardoor interactie gemakkelijker wordt. VR-interfaces hebben aangetoond dat ze de tijd voor het voltooien van taken verkorten, de prestaties van operators verhogen en over het algemeen de voorkeur hebben boven traditionele interfaces. Maar hoewel er veel fundamenteel werk is verricht op het gebied van VR-robotinterfaces, is er nog veel ontwikkeling nodig bij het creëren van VR-teleoperatie-interfaces.

“Op dit moment vereisen motion-controlled robots voor samenwerking dat de fysieke locatie dezelfde hoeveelheid ruimte heeft als de externe omgeving, maar dat is vaak niet het geval,” zei Brandon Woodard, een Ph.D.-student aan Brown University die ook graduate researcher is voor de Visual Computing Group en daarvoor stage liep bij Nvidia (NVDA ), MIT Lincoln Laboratory, NASA’s Jet Propulsion Laboratory en Intel (INTC ). Hij wees er bovendien op dat kamers verschillende afmetingen hebben, wat gemakkelijk zichtbaar is zelfs tijdens vergaderingen via Zoom, het video-telefonieprogramma.

Volgens het artikel heeft recent onderzoek naar robotproxy’s aangetoond dat men automatisch vele non-verbale signalen die belangrijk zijn bij co-locatie samenwerking kan reproduceren, maar deze vereisen vaak een symmetrische hardwareconfiguratie op elke locatie. Als oplossing introduceerde het team VRoxy, een systeem dat toegang tot externe ruimtes via een robot mogelijk maakt, met een VR-headset in een veel kleinere ruimte, zoals een persoonlijk kantoor. Hier zeiden de onderzoekers dat de automatische realtime responsiviteit van de software cruciaal is voor zowel externe als lokale teamgenoten.

VRoxy zet alle kleine bewegingen van de externe gebruiker in de VR-ruimte om naar de grotere bewegingen van de robot in de fysieke ruimte, waardoor de gebruiker gemakkelijk grote fysieke ruimtes kan navigeren. Op deze manier kan een VR-gebruiker via VRoxy snel navigeren in een low-fidelity weergave van de externe ruimte. 

Bij het dragen van een VR-headset krijgt een VRoxy-gebruiker toegang tot twee weergavemodi. De ene is live-modus, die een meeslepend beeld van de samenwerkingsruimte in realtime toont voor interacties met lokale medewerkers. De andere is een navigatiemodus die gerenderde paden van de kamer weergeeft, waardoor externe gebruikers sneller en soepeler kunnen “teleporteren” naar de gewenste locatie, terwijl misselijkheid wordt beperkt, aldus de onderzoekers. 

Bovendien betekent het automatische karakter van het systeem dat teamgenoten zich eenvoudig kunnen concentreren op samenwerking in plaats van de robot handmatig te besturen, waarbij de robot de feed van een 360°-camera gebruikt om realtime interacties te ondersteunen. 

Het systeem faciliteert ook interactiemodaliteiten door de micro-mobiliteit rond gedeelde ruimtes op de proxy weer te geven. Deze meerdere modaliteiten van non-verbale signalen, zoals hoofdrotatie, gezichtsuitdrukkingen, wijzende gebaren en oogbewegingen, werden vastgelegd door de VR-gebruiker via de Quest Pro, die vervolgens via een telepresence-robot op de externe locatie wordt weergegeven. 

Met VRoxy kan een medewerker navigeren en samenwerken binnen een uitgestrekte, externe omgeving vanuit een kleinere fysieke ruimte, en bovendien direct schakelen tussen afzonderlijke werkruimtes die fysiek gescheiden zijn, aldus het onderzoek. Dit toont aan dat VRoxy zich kan aanpassen aan zowel stationaire als mobiele robotproxy’s met een consumentgerichte headset.

In toekomstig werk wil Sakashita, de hoofd auteur van het artikel, VRoxy versterken met robotarmen om externe gebruikers in staat te stellen fysieke objecten in de live-ruimte te manipuleren via de robotproxy. Bovendien voorziet hij dat VRoxy zelf een ruimte kan in kaart brengen, vergelijkbaar met de Roomba-stofzuiger, die verschillende sensoren gebruikt om te navigeren en zich aan te passen aan de omgeving. Momenteel vertrouwt VRoxy op plafondmarkeringen om een kamer te navigeren, maar ondersteuning voor realtime mapping zou inzet in een klaslokaal mogelijk maken, aldus Sakashita.

Hyunju Kim en Ruidong Zhang, beide doctoraatsstudenten op het gebied van informatiewetenschap, samen met François Guimbretière, professor in informatiewetenschap aan Cornell Bowers CIS, en Woodard, zijn co-auteurs van het onderzoeksartikel, dat wordt ondersteund door de Nakajima Foundation en de National Science Foundation.

De Ontketende Synergie: VR- en Robotica-samenwerking

Het concept van virtual reality bestaat al lange tijd, sinds de jaren zestig. Het gebruik ervan in het vakgebied van robotica is echter beperkt gebleven. Dit ondanks het feit dat er een enorme synergie bestaat tussen VR en robotica. 

VR kan in robotica worden gebruikt om meeslepende robot-teleoperatie te bieden en om studies over mens-robotinteractie en samenwerking uit te voeren, terwijl robots helpen meer meeslepende VR-ervaringen te bieden door haptische feedback aan gebruikers te geven.

Het ontbreken van VR-integratie in het vakgebied van robotica is grotendeels veroorzaakt door het ontbreken van beschikbaarheid en betaalbaarheid van commerciële VR-apparaten, die de afgelopen tien jaar aanzienlijke vooruitgang hebben geboekt. En daarmee is er een toename geweest in het combineren van de kracht van VR en robotica voor mens-robotinteractie en samenwerking.

Met een groeiende interesse in meer automatisering met herconfigureerbare systemen die kunnen worden aangepast aan veranderende behoeften, zien we een toenemend gebruik van virtual reality in robotica om de communicatie tussen mens en machine succesvoller te maken.

Deze twee technologieën worden momenteel in meerdere toepassingen gebruikt om de prestaties van robots te verbeteren terwijl een mens de controle behoudt. Bijvoorbeeld, in medische robotica biedt VR-training artsen en chirurgen de mogelijkheid om te trainen in een bijna realistische situatie zonder met echte patiënten te hoeven omgaan. VR kan ook worden gebruikt om soldaten te trainen om om te gaan met militaire drones en robots zonder het risico dat dure en onvervangbare apparatuur beschadigd raakt. VR- en robotica-onderzoek worden bovendien gebruikt om ruimteverkenning in complexe omgevingen te optimaliseren. 

Door VR en robotica te benutten, kan VRoxy ook aanzienlijke vooruitgangen brengen in remote samenwerking en professionele omgevingen. Door gebruikers op verschillende fysieke locaties naadloos te laten samenwerken in gedeelde ruimtes, kan deze software zeer waardevol blijken voor remote teams die aan projecten werken die nauwkeurige coördinatie en communicatie vereisen.

VR en robotica zijn op zichzelf nuttige technologieën voor training, maar door ze te combineren wordt onderwijs in allerlei vakgebieden intuïtiever en meeslepender. Ze helpen zelfs bij het trainen van slimmere robots.

Naast het gebruik voor trainingsdoeleinden en het bieden van remote assistentie en ondersteuning, kan VRoxy ook worden ingezet in situaties waarin fysieke ruimte beperkt is, evenals in remote onderwijs, door studenten meeslepende ervaringen in fysieke omgevingen te bieden. Het kan ook virtuele locatiebezoeken faciliteren, waardoor belanghebbenden fysieke ruimtes op afstand kunnen verkennen en weloverwogen beslissingen kunnen nemen.

Bedrijven die de Kracht van VR en Robotica Benutten 

Gezien het potentieel van de combinatie van VR en robotica, onderzoeken verschillende bedrijven deze technologieën en werken eraan, laten we een kijkje nemen bij enkele van de meest prominente:

1. Cambrian Intelligence

Het richt zich op de ontwikkeling en toepassing van machine-intelligentie-algoritmen. Cambrian Intelligence bouwt teleoperatie-interfaces om robots op afstand intuïtief te besturen met hand- en armbewegingen, gebruikmakend van gametechnologieën zoals virtual reality, tracking en haptics.
Vanaf 21 september 2023 heeft Cambrian Intelligence in totaal $3.793.919 opgehaald via verschillende financieringsrondes, waaronder een significante onbekende serie, een pre-seed investering, een subsidie van de EASME – EU Executive Agency for SMEs, en een niet-openbaar bedrag van ff Venture Capital.

2. Intel 

Een van ‘s werelds grootste fabrikanten van halfgeleiderchips, Intel is een sleutelspeler in de ontwikkeling van technologieën gerelateerd aan robotica en VR, en levert technologieën voor beide velden. Eerder dit jaar Intel introduceerde MiDaS 3.1 voor computervisie als oplossing voor de diepte-schatting uitdaging bij het creëren van een breed scala aan toepassingen in robotica, AR en VR.

INTC Prijsgrafiek

Momenteel worden de aandelen van Intel (INTC) verhandeld tegen $38,73, een stijging van 46,69% dit jaar, en het bedrijf betaalt een dividendrendement van 1,29%. Voor Q3 2023 rapporteerde het een omzet van $14,2 miljard, een daling van 8% jaar-op-jaar (YoY) en een winst per aandeel (EPS) van $0,07. 
“We leverden een opvallend derde kwartaal, gekenmerkt door algehele vooruitgang in onze proces- en productroadmaps, overeenkomsten met nieuwe foundry-klanten, en momentum terwijl we AI overal brengen,” zei Intel-CEO Pat Gelsinger. 

3. Vicarious Surgical

Dit bedrijf wordt geleid door een team van technologen en artsen die de nieuwste innovaties in robotica en virtual reality toepassen op chirurgische procedures. Om patiënten betere resultaten en minder risico of invasiviteit te bieden bij buikoperaties, maakt Vicarious Surgical gebruik van een patiëntkar met twee robotarmen voorzien van camera-ondersteunde zichtbaarheid en uitzonderlijke mobiliteit, samen met de chirurgconsole om de robot te besturen, controleerbaar via een 3D-scherm, een VR-headset en de eigen software. 

RBOT Prijsgrafiek

Voor het tweede kwartaal van 2023 rapporteerde Vicarious Surgical $82,8 miljoen in contanten, kasequivalenten en kortetermijninvesteringen. Gedurende deze periode kreeg het bedrijf duidelijkheid over het klinische en regelgevende traject met de verwachting de eerste ventrale hernia-procedure bij een patiënt medio 2024 te voltooien. Het ondertekende ook een vierde grote overeenkomst met een Amerikaans ziekenhuisnetwerk, waardoor het totale aantal ziekenhuispartners op meer dan 250 komt. Ondertussen worden de aandelen van Vicarious Surgical (RBOT) momenteel verhandeld tegen $0,4263, met een P/E (TTM) van -0,68 en EPS (TTM) van -0,63.

Conclusies

Ondanks dat het een relatief jonge technologie is, is de adoptie van virtual reality wijdverspreid onder bedrijven, organisaties en zelfs overheden, naarmate het potentieel met elke nieuwe ontwikkeling duidelijker wordt. VR wint niet alleen veel aan populariteit in gaming, sport, gezondheidszorg, onderwijs, vastgoed, productie, marketing, automotive en defensie, maar verandert ook de robotica-industrie op grote schaal. 

Het combineren van VR en robotica heeft het potentieel om levens te redden en de grenzen van verkenning te verleggen. Hoewel het zich nog in de ontwikkelingsfase bevindt, met factoren zoals financiering, technologische uitdagingen en regelgevende overwegingen die deze groei beïnvloeden, zien we voortdurend dat wetenschappers en ingenieurs doorbraken realiseren in deze technologieën.

Gezien de vooruitgang in VR en robotica, kunnen we verwachten dat systemen zoals VRoxy de komende 5-10 jaar in specifieke sectoren worden toegepast, terwijl bredere adoptie meer tijd zal kosten naarmate de technologie rijpt en toegankelijker wordt.

Klik hier voor de lijst van de top 10 augmented Reality (AR) en virtual reality (VR) aandelen.