Bryde Barrierer: Sådan Formgiver VR-Robotik Fremtiden for Problemfrit Professionelt Samarbejde

Virtual reality (VR)-industrien vokser hurtigt, med næsten én ud af fem amerikanske forbrugere, der brugte VR i 2020. Men selvom spil- og underholdningssektorerne i øjeblikket er de største drivkræfter for VR-vækst på verdensplan, gør denne immersive teknologi også sit indtog i andre livsområder.

Forskere ved Brown University og Cornell University arbejder på at udvide brugen af VR i professionelle miljøer. Det involverer en telepresence-robot, der automatisk og i realtid reagerer på bevægelser og gestusser foretaget af en fjernbruger i virtuel virkelighed.

Til dette udviklede forskerholdet det robotiske system kaldet VRoxy, en controllerfri, VR-styret robotproxy, der har potentialet til at muliggøre praktisk samarbejde mellem personer, der arbejder fjern fra et lille rum, som et kontor, med holdkammerater, der arbejder i et meget større rum.

“Den store fordel ved virtuel virkelighed er, at vi kan udnytte alle slags lokomotionsteknikker, som folk bruger i VR-spil, som f.eks. at flytte sig øjeblikkeligt fra én position til en anden.”

– Mose Sakashita, Ph.D.-studerende i Informationsvidenskab ved Cornell.

Han tilføjede:

“Denne funktionalitet gør det muligt for fjernbrugere at fysisk optage et meget begrænset område, men samarbejde med holdkammerater i et meget større fjernmiljø.”

Så skabte holdet VRoxy, bygget på en lignende robot fra Cornell kaldet ReMotion, som optager fysisk plads på vegne af en fjernbruger og automatisk spejler brugerens bevægelser i realtid, før den formidler vigtig kropssprog, som ellers går tabt i standard virtuelle miljøer. ReMotions funktionalitet var begrænset til scenarier, hvor begge brugere – den lokale og den fjernliggende – havde identiske hardwareopsætninger og sammenlignelige arbejdsområder. VRoxy har dog overvundet denne begrænsning.

Hvad softwareprogrammet VRoxy gør, er, at det tillader en bruger i en fjernlokation at tage et VR-headset på og blive virtuelt transporteret til et rum, som kan være et kontor, et laboratorium eller enhver anden indstilling, hvor deres kolleger fysisk arbejder. På den fysiske lokation repræsenteres den fjernliggende bruger derefter gennem en robot, som gør det muligt for dem at bevæge sig gennem miljøet ved hjælp af naturlige bevægelser, som at gå. Derudover kan den fjernliggende bruger samarbejde med kolleger gennem gestusser som at pege på objekter, hovedanimationer som nikken, og endda ansigtsudtryk via robotproxyen.

Selvom den i øjeblikket er i sine tidlige faser, siger forskerne, at softwaren allerede har potentialet til at løse nogle af de største udfordringer, der opstår ved brug af robotproxyer og augmented reality (AR)-software til fjern samarbejde.

VRoxy: Revolutionerer Fjern Samarbejde 

Papiret “VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy” blev præsenteret ved årets Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST), der blev afholdt fra 29. oktober til 1. november i San Francisco. Forskningspapiret demonstrerer, hvordan VRoxy kan håndtere kortlægning af flere fysiske lokationer til et samlet virtuelt rum. 

Virtuel virkelighed giver en mulighed for at skabe intuitive grænseflader ved at indleve brugere i et 3D-miljø, hvor de kan se og interagere med robotter i delte eller fjernmiljøer, hvilket muliggør lettere interaktion. VR-grænseflader har vist sig at hjælpe med at reducere opgaveløbstid, øge operatørens præstation og foretrækkes generelt frem for traditionelle grænseflader. Men selvom der er gjort betydelige grundlæggende fremskridt inden for VR-robotgrænseflader, er der stadig meget udvikling nødvendig for at skabe VR-teleoperationsgrænseflader.

“Lige nu kræver bevægelsesstyrede robotter til samarbejde, at den fysiske lokation har samme mængde plads som det fjernliggende miljø, men det er ofte ikke tilfældet,” sagde Brandon Woodard, Ph.D.-studerende ved Brown University, som også er forsker i Visual Computing Group og tidligere har været praktikant hos Nvidia (NVDA ), MIT Lincoln Laboratory, NASA’s Jet Propulsion Laboratory og Intel (INTC ). Han påpegede desuden, at rum har forskellige dimensioner, hvilket let kan ses, selv når man mødes med folk i Zoom, videotelefoniprogrammet.

Ifølge papiret har nyere forskning i robotproxyer vist, at man automatisk kan reproducere mange non-verbale signaler, som er vigtige i sameksisterende samarbejde, men de kræver ofte en symmetrisk hardwareopsætning i hver lokation. Som en løsning introducerede holdet VRoxy, et system designet til at give adgang til fjernrum gennem en robot, ved brug af et VR-headset i et meget mindre rum, såsom et personligt kontor. Her sagde forskerne, at softwarens automatiske realtidsrespons er afgørende for både fjern- og lokale holdkammerater.

VRoxy kortlægger alle små bevægelser, som den fjernliggende bruger laver i VR-rummet, til robotens større bevægelser i det fysiske rum, så brugeren nemt kan navigere i store fysiske områder. På denne måde kan en VR-bruger via VRoxy hurtigt navigere i en lavopløsnings gengivelse af det fjernliggende rum. 

Når man tager et VR-headset på, får en VRoxy-bruger adgang til to visningstilstande. Den ene er live-tilstand, som viser et immersivt billede af samarbejdsrummet i realtid for interaktion med lokale samarbejdspartnere. Den anden er en navigations-tilstand, der viser gengivne stier i rummet, hvilket muliggør hurtigere, glattere mobilitet for fjernbrugere til at “teleportere” til det ønskede sted, mens man begrænser bevægelsessyge, sagde forskerne.

Desuden betyder det, at systemet er automatisk, at holdkammeraterne blot kan fokusere på samarbejdet i stedet for manuelt at styre robotten, som bruger feedet fra et 360°-kamera til at understøtte realtidsinteraktioner.

Systemet muliggør også interaktionsmodaliteter ved at gengive mikro-mobilitet omkring delte rum på proxyen. Disse flere modaliteter af non-verbale signaler, såsom hovedrotation, ansigtsudtryk, pegegestusser og øjenkontakt, blev indfanget af VR-brugeren gennem Quest Pro, som derefter repræsenteres gennem en telepresence-robot på den fjernliggende lokation.

Med VRoxy kan en samarbejdspartner navigere og samarbejde inden for et stort, fjernmiljø fra et mindre fysisk rum samt øjeblikkeligt skifte mellem separate arbejdsområder, der er fysisk adskilt, udtalte forskerne. Dette demonstrerer, at VRoxy kan tilpasse sig både stationære og mobile robotproxyer ved brug af et forbruger-klasse headset.

I fremtidigt arbejde har Sakashita, papirets hovedforfatter, til hensigt at udstyre VRoxy med robotarme for at give fjernbrugere mulighed for at interagere med fysiske objekter i det levende rum via robotproxyen. Derudover forudser han, at VRoxy vil udføre sin egen kortlægning af et rum, svarende til Roomba-støvsugeren, som bruger forskellige sensorer til at navigere og tilpasse sig sit miljø. I øjeblikket er VRoxy afhængig af loftmarkører for at navigere i et rum, men understøttelse af realtidskortlægning kunne muliggøre implementering i et klasseværelse, sagde Sakashita.

Hyunju Kim og Ruidong Zhang, begge doktorander inden for informationsvidenskab, sammen med François Guimbretière, professor i informationsvidenskab ved Cornell Bowers CIS, og Woodard, er medforfattere til forskningspapiret, som støttes af Nakajima Foundation og National Science Foundation.

Den Frigjorte Synergi: VR og Robotik Samarbejde

Konceptet om virtuel virkelighed har eksisteret i lang tid, siden 1960’erne. Dens anvendelse inden for robotikområdet har dog været begrænset. Dette på trods af, at der er en stor synergi mellem VR og robotik. 

VR kan bruges i robotik til at levere immersiv robot-teleoperation og til at udføre studier af menneske-robot interaktion og samarbejde, mens robotter hjælper med at give mere immersive VR-oplevelser ved at levere haptisk feedback til brugerne.

Manglen på VR-integration inden for robotik skyldes i høj grad fraværet af tilgængelige og overkommelige kommercielle VR-enheder, som har set betydelige fremskridt i det sidste årti. Med dette er der også sket en stigning i kombinationen af VR og robotik til menneske-robot interaktion og samarbejde.

Med en stigende interesse for mere automatisering med omkonfigurerbare systemer, der kan tilpasses efter skiftende behov, ser vi en voksende brug af virtuel virkelighed i robotik for at gøre kommunikationen mellem mennesker og maskiner mere succesfuld.

Disse to teknologier anvendes i øjeblikket i flere applikationer for at øge robotters ydeevne, mens en menneskelig operatør bevarer kontrollen. For eksempel giver VR-træning inden for medicinsk robotik læger og kirurger mulighed for at træne i en næsten virkelighedstro situation uden at skulle håndtere faktiske patienter. VR kan også bruges til at træne soldater i at håndtere militære droner og robotter uden risiko for, at dyrt og uerstatteligt udstyr bliver beskadiget. VR- og robotikforskning anvendes desuden til at optimere rumforskning i komplekse miljøer.

Ved at udnytte VR og robotik kan VRoxy også skabe betydelige fremskridt inden for fjern samarbejde og professionelle miljøer. Ved at give brugere på forskellige fysiske lokationer mulighed for at samarbejde problemfrit i delte rum, kan denne software vise sig at være meget værdifuld for fjernhold, der arbejder på projekter, der kræver tæt koordinering og kommunikation.

VR og robotik er nyttige teknologier til træning i sig selv, men ved at kombinere dem kan uddannelse inden for alle slags felter blive mere intuitiv og immersiv. De hjælper endda med at træne smartere robotter.

Ud over at blive brugt til træningsformål og til at levere fjernassistance og support, kan VRoxy også finde anvendelse i situationer, hvor fysisk plads er begrænset, samt i fjernundervisning, ved at give studerende immersive oplevelser i fysiske omgivelser. Det kan også lette virtuelle stedbesøg, så interessenter kan udforske fysiske rum på afstand og træffe informerede beslutninger.

Virksomheder, der Udnytter Kraften i VR og Robotik 

Givet potentialet i kombinationen af VR og robotik, forsker flere virksomheder på og arbejder med at udnytte disse teknologier, så lad os se på nogle af de mest fremtrædende:

1. Cambrian Intelligence

Den fokuserer på udvikling og anvendelse af maskinintelligens-algoritmer. Cambrian Intelligence bygger teleoperationsgrænseflader til intuitiv fjernstyring af robotter med hånd- og armbevægelser ved brug af spilteknologier såsom virtuel virkelighed, sporing og haptik.

Pr. 21. september 2023 har Cambrian Intelligence samlet rejst i alt $3.793.919 gennem forskellige finansieringsrunder, herunder en betydelig serie-ukendt runde, en pre-seed investering, en bevilling fra EASME – EU’s Eksekutivagentur for SMV’er, og et uoplyst beløb fra ff Venture Capital.

2. Intel 

Som en af verdens største producenter af halvlederchips er Intel en nøglespiller i udviklingen af teknologier relateret til robotik og VR, og leverer teknologier til begge felter. Tidligere i år introducerede Intel MiDaS 3.1 til computervision som en løsning på udfordringen med dybestimning i oprettelsen af et bredt udvalg af applikationer inden for robotik, AR og VR.

INTC Prisdiagram

I øjeblikket handles Intel’s (INTC) aktier til $38,73, op 46,69% i år, og virksomheden betaler en udbytteafkast på 1,29%. For 3Q23 rapporterede den en omsætning på $14,2 milliarder, ned 8% år-til-år (YoY) og indtjening pr. aktie (EPS) på $0,07. 

“Vi leverede et fremragende tredje kvartal, understøttet af gennemgående fremskridt på vores proces- og produktroadmaps, aftaler med nye foundry-kunder og momentum, mens vi bringer AI overalt,” sagde Intel CEO Pat Gelsinger. 

3. Vicarious Surgical

Dette firma ledes af et team af teknologer og læger, der anvender de nyeste innovationer inden for robotik og virtuel virkelighed på kirurgiske procedurer. For at give patienter bedre resultater og mindre risiko eller invasivitet ved abdominale indgreb, bruger Vicarious Surgical en patientvogn med to robotarme med kamerabaseret synlighed og fremragende mobilitet samt en kirurgkonsol til at styre robotten, kontrollerbar via en 3D-skærm, et VR-headset og den proprietære software. 

RBOT Prisdiagram

For andet kvartal 2023 rapporterede Vicarious Surgical $82,8 millioner i kontanter, kontantekvivalenter og kortfristede investeringer. I denne periode fik virksomheden klarhed over den kliniske og regulatoriske vej med forventning om at gennemføre den første ventrikelhernia-procedure på en patient i midten af 2024. Den indgik også en fjerde stor amerikansk hospitalsystemaftale, hvilket bragte det samlede antal hospitalspartnere til over 250. Imens handles Vicarious Surgical’s (RBOT) aktier i øjeblikket til $0,4263, med en P/E (TTM) på -0,68 og EPS (TTM) på -0,63.

Afsluttende Tanker

Selvom det er en relativt ny teknologi, har adoptionen af virtuel virkelighed været udbredt på tværs af virksomheder, organisationer og endda regeringer, efterhånden som dens potentiale bliver klarere med hver ny udvikling. VR får ikke kun stor opmærksomhed inden for spil, sport, sundhedspleje, uddannelse, ejendom, fremstilling, markedsføring, bilindustrien og forsvar, men den ændrer også robotikindustrien på betydelige måder. 

Kombinationen af VR og robotik har potentialet til at redde liv og skubbe grænserne for udforskning. Selvom den stadig er i udviklingsfasen, med faktorer som finansiering, teknologiske udfordringer og regulatoriske overvejelser, der påvirker denne vækst, ser vi konstant videnskabsfolk og ingeniører gøre gennembrud inden for disse teknologier.

Givet fremskridtene inden for VR og robotik kan vi forvente at se anvendelsen af systemer som VRoxy i specifikke industrier inden for de næste 5-10 år, mens bredere adoption vil tage længere tid, efterhånden som teknologien modnes og bliver mere tilgængelig.

Klik her for listen over top 10 augmented Reality (AR) og virtual reality (VR) aktier.