VRoxy: forskning i samarbejde på afstand med VR og robotik i 2023

Denne artikel fra 2023 handler om forskning i virtuel virkelighed (VR) og robotik. I en amerikansk undersøgelse fra 2020 havde næsten hver femte voksne prøvet VR eller ejede et headset. Det betød ikke, at en femtedel brugte teknologien regelmæssigt, og det er ikke et aktuelt globalt brugertal. Ud over spil og underholdning undersøges professionelle anvendelser.

Forskere ved Brown University og Cornell University udviklede VRoxy, en forskningsprototype til tilstedeværelse på afstand gennem en robot. Systemet reagerer på bevægelser og gestik fra en bruger med VR-headset.

Målet var samarbejde mellem en bruger i et lille rum og kolleger i et større lokale. Robotten repræsenterer brugeren på arbejdsstedet. Systemet var ikke en generelt tilgængelig kommerciel tjeneste. Betjening uden håndkontrol betyder ikke, at robotten er uden styring.

Forskeren Mose Sakashita forklarede, at VR kan bruge bevægelsesteknikker fra spil, eksempelvis et virtuelt spring til et andet sted.

Sakashita var dengang ph.d.-studerende i informationsvidenskab ved Cornell.

Hans forklaring var:

En bruger kan blive fysisk i et lille rum og alligevel samarbejde med kolleger i et større miljø på afstand. Den virtuelle flytning er ikke fysisk teleportation af robotten.

VRoxy byggede videre på Cornells ReMotion. Den tidligere løsning krævede tilsvarende udstyr og arbejdsområder med lignende størrelse på begge steder. VRoxy knyttede et lille brugerrum til større arbejdsområder og formidlede kropssprog gennem en robot.

Brugeren ser arbejdsstedet i headsettet og bliver repræsenteret dér af robotten. Bevægelser i et arbejdsområde, pegning, nik og ansigtsudtryk kan overføres. Brugeren og kollegerne forbliver på forskellige fysiske steder.

Forskerne præsenterede i 2023 en tidlig demonstration af samarbejde på afstand. Arbejdet berører spørgsmål om robotrepræsentanter og augmented reality (AR), men VR og AR er forskellige teknologier. Den beskrevne styring bruger VR.

VRoxy: samarbejde på afstand 

Forskningsartiklen hedderVRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxyog blev præsenteret på UIST 2023, ACM-konferencen den 29. oktober–1. november i San Francisco. Den beskriver visning af flere arbejdsområder og adgang til dem ved hjælp af en robot. 

En VR-grænseflade kan give et rumligt billede af et robotmiljø og støtte bestemte opgaver. Kortere opgavetid, bedre præstation eller en præference for VR afhænger dog af opgave og undersøgelse. Det er ikke generelle garantier.

Brandon Woodard, dengang ph.d.-studerende ved Brown og forsker i Visual Computing Group, forklarede, at arbejdssteder har forskellig størrelse. Artiklen nævnte tidligere praktik hos Nvidia (NVDA ), MIT Lincoln Laboratory, NASA’s Jet Propulsion Laboratory og Intel (INTC ). Forskellen mellem for eksempel et hjemmekontor og et laboratorium var det praktiske problem, som VRoxy undersøgte.

Tidligere robotrepræsentanter kunne gengive vigtige ikke-verbale signaler, men krævede ofte lignende udstyr og plads begge steder. VRoxy undersøgte en opsætning med headset i et lille rum og robot på den større arbejdsplads.

Systemet knytter arbejdsområder i det større lokale til brugerens begrænsede plads. Virtuelle flyttepunkter lader brugeren vælge et andet sted; robotten kører derefter dertil. Det drejer sig ikke blot om vilkårligt at forstørre hver lille bevægelse. 

Direkte visning viser miljøet til kontakt med kolleger. Navigationstilstanden viser et forenklet tredimensionelt miljø med virtuelle overgange. Overgangen skjuler robottens kørsel og skal gøre oplevelsen mere jævn samt begrænse bevægelsessyge. Det garanterer ikke, at alle undgår ubehag.

Den automatiske navigation skal mindske opmærksomheden på manuel kørsel. Robotten bruger blandt andet et kamera med 360 graders synsfelt til kontakten på arbejdsstedet.

Quest Pro kan registrere hovedbevægelser, ansigtsudtryk og blikretning; pegning indgår også i samspillet. Robotten har en skærm og en mekanisk pegeenhed. Den er ikke en gribearm, som allerede kan samle ting op.

VRoxy kan skifte virtuelt mellem arbejdsområder. Ved overgang til en anden bygning aktiveres en anden robot; den første robot springer ikke fysisk mellem bygninger. Demonstrationen viser muligheder, ikke dokumenteret anvendelighed i alle miljøer.

Robotarme til at håndtere genstande og selvstændig kortlægning af rum var fremtidsplaner. Systemet brugte i 2023 markører i loftet til navigation. Sammenligningen med en Roomba beskrev en ønsket senere funktion.

Medforfattere var Hyunju Kim, Ruidong Zhang, Brandon Woodard og François Guimbretière sammen med hovedforfatter Mose Sakashita. National Science Foundation og Nakajima Foundation støttede forskningen.

Kombinationen af VR og robotik

Idéen om virtuel virkelighed har en lang historie. Kombinationen med robotik rummer forskellige anvendelser og begrænsninger og er ikke ét ensartet produktområde. 

VR kan bruges til robotstyring på afstand og studier af samarbejde mellem menneske og robot. Visse robotsystemer giver berørings- eller kraftfeedback i VR. Det betyder ikke, at alle VRoxy-prototyper har den funktion.

Billigere headset og bedre bevægelsesregistrering har muliggjort flere forsøg. Pris og tilgængelighed er dog ikke de eneste faktorer. Forbindelse, forsinkelse, sikkerhed, opgavedesign og brugervenlighed har også betydning.

Omkonfigurerbare systemer kan tilpasses bestemte arbejdsbehov. Om VR forbedrer kommunikationen med robotten, må vurderes for den enkelte anvendelse.

Forskningsområder omfatter simulering til medicinsk uddannelse, træning i robotstyring og udforskning af svært tilgængelige miljøer. En simulering kan reducere bestemte øvelsesrisici, men dokumenterer ikke automatisk bedre kliniske resultater eller fuldstændig sikker drift i praksis.

VRoxy undersøgte, hvordan kolleger forskellige steder kan dele rumlige signaler. Prototypen kan give idéer til hold med behov for tæt koordinering, men dokumenterede ikke bred kommerciel egnethed.

VR og robotik kan støtte uddannelse og indsamling af demonstrationer til robotter. Merværdien afhænger af læringsmål, udstyr og evaluering.

Fjernundervisning og virtuelle besøg er tænkelige anvendelser. Beskrivelsen gælder muligheder i forskningen fra 2023, ikke allerede dokumenterede installationer i alle disse sektorer.

Virksomhedseksempler fra 2023 

De følgende eksempler handler om robotik, billedanalyse eller kirurgiske systemer. Det gør ikke virksomhederne til partnere i VRoxy. Børsoplysninger er historiske, mens indlejrede diagrammer kan opdateres.

1. Cambrian Intelligence

Artiklen beskrev maskinintelligens og grænseflader til fjernstyring hos Cambrian Intelligence . Hånd- og armbevægelser, bevægelsesregistrering, VR og haptik indgik i beskrivelsen dengang. Den nuværende hjemmeside fokuserer på tredimensionelt maskinsyn til industrielle robotarme; det er ikke det samme som VRoxy.

Artiklen nævnte samlet finansiering på 3.793.919 dollar pr. 21. september 2023. Det præcise historiske beløb er ikke her bekræftet med en primær finansieringskilde. Den henviste blandt andet til en tidlig investering, støtte fra det daværende EU-agentur EASME og ff Venture Capital. En uspecificeret finansieringsrunde er ikke en runde, som officielt hedder ”ukendt serie”.

2. Intel 

Intel udvikler halvledere og teknologi, der også kan bruges til billedanalyse og robotik. Det med Intel forbundne MiDaS 3.1 estimerer relativ dybde ud fra ét billede. Det officielle projekt angiver december 2022 som udgivelsestidspunkt; den tekniske rapport kom i juli 2023. Relativ dybde er ikke automatisk en præcis afstand i meter.

INTC Prisdiagram

Intelkursen 38,73 dollar, stigningen på 46,69 procent siden årets begyndelse og det direkte afkast på 1,29 procent var et øjebliksbillede fra 2023. I tredje kvartal 2023 rapporterede Intel omsætning på 14,2 milliarder dollar, 8 procent mindre end året før. Udvandet indtjening pr. aktie var 0,07 dollar efter GAAP mod 0,41 dollar på justeret non-GAAP-basis. 

Pat Gelsinger, dengang administrerende direktør, fremhævede ved rapporten fremskridt for produkter og fremstillingsprocesser, nye kunder til kontraktproduktion af chips og satsningen på AI. Det var hans vurdering af kvartalet, ikke en garanti for fremtidige resultater. 

3. Vicarious Surgical

Virksomheden udviklede et kirurgisk robotsystem. Bedre resultater og mindre indgribende bugkirurgi var designmål, ikke kliniske fordele bevist af denne beskrivelse. Vicarious Surgical beskriver en patientenhed med to robotarme, kameraer og en kontrolkonsol med tredimensionelt syn. Et VR-headset indgik i tidlige demonstrationer, men virksomheden oplyser udtrykkeligt, at det ikke indgår i første generation. Virksomheden oplyser også, at systemet ikke har FDA-markedstilladelse og ikke sælges kommercielt i USA. En Breakthrough Device-betegnelse er ikke en markedstilladelse. 

RBOT Prisdiagram

Pr. 30. juni 2023 havde Vicarious Surgical cirka 82,8 millioner dollar i likvider og kortfristede investeringer; det er ikke kvartalsomsætning. I juli 2023 forventede virksomheden en første operation for bugvægsbrok på en patient midt i 2024. Det var en daværende plan, ikke dokumentation for et gennemført eller godkendt indgreb. En fjerde aftale med et amerikansk hospitalsnetværk betød, at partnerne repræsenterede over 250 hospitaler, ikke 250 separate netværksaftaler eller installerede robotter. Kursen 0,4263 dollar, P/E −0,68 og indtjening pr. aktie −0,63 var historiske børsoplysninger, ikke kvartalets indtjening pr. aktie eller aktuelle tal. Senere aktiehændelser begrænser direkte kurssammenligninger. Negativ P/E viser ikke overskud.

Afslutning

VR undersøges og bruges til uddannelse, visualisering og samarbejde. Indførelsen varierer meget mellem sektorer. En prototypedemonstration dokumenterer ikke bred anvendelse i alle de nævnte brancher. 

Kombinationen med robotik giver muligheder, men kræver finansiering, teknisk udvikling, sikkerhedsvurdering og undertiden tilladelser. Udforskning og sundhed kan få gavn af den, uden at konkrete resultater allerede er sikre.

De fem til ti år, som blev nævnt i 2023, svarede til cirka 2028–2033. Det var en forventning, ikke en garanteret indførelsesplan eller en ny frist fra i dag.

Se oversigten over aktier inden for augmented reality og virtuel virkelighed.