Bryter Barrierer: Hvordan VR-robotikk Former Fremtiden for Sømløst Profesjonelt Samarbeid

Den virtuelle virkeligheten (VR) industrien vokser i raskt tempo, med nesten én av fem amerikanske forbrukere som brukte VR i 2020. Men selv om spill- og underholdningssektorene for øyeblikket er de største driverne for VR-vekst globalt, gjør denne immersive teknologien også sin vei inn i andre livsområder.

Forskere ved Brown University og Cornell University arbeider med å utvide bruken av VR i profesjonelle miljøer. Det innebærer en telepresence-robot som automatisk og i sanntid responderer på bevegelser og gester gjort av en fjernbruker i virtuell virkelighet.

For dette utviklet forskerteamet det robotiske systemet kalt VRoxy, en kontrollerfri, VR-styrt robotproxy som har potensial til å muliggjøre praktisk samarbeid mellom personer som jobber eksternt i et lite rom, som et kontor, med kolleger som arbeider i et mye større rom.

“Den store fordelen med virtuell virkelighet er at vi kan utnytte alle slags bevegelsesteknikker som folk bruker i VR-spill, som å umiddelbart flytte fra én posisjon til en annen.”

– Mose Sakashita, Ph.D.-student i informasjonsvitenskap ved Cornell.

Han la til:

“Denne funksjonaliteten gjør det mulig for fjernbrukere å fysisk opptar et svært begrenset område, men samarbeide med kolleger i et mye større fjernmiljø.”

Dermed laget teamet VRoxy, bygget på en lignende robot fra Cornell kalt ReMotion, som opptar fysisk plass på vegne av en fjernbruker og automatisk speiler brukerens bevegelser i sanntid, samtidig som den formidler viktig kroppsspråk som ellers går tapt i standard virtuelle miljøer. ReMotions funksjonalitet var begrenset til scenarier hvor begge brukere – den lokale og den eksterne – hadde identiske maskinvareoppsett og sammenlignbare arbeidsområder. VRoxy har imidlertid overvunnet denne begrensningen.

Hva programvaren VRoxy gjør, er at den lar en bruker på en fjernlokasjon sette på seg et VR-headset og bli virtuelt transportert til et rom, som kan være et kontor, laboratorium eller et annet miljø hvor deres kolleger arbeider fysisk. På den fysiske lokasjonen blir den fjernbrukeren representert gjennom en robot, som gjør det mulig å bevege seg i miljøet med naturlige bevegelser, som å gå. I tillegg kan den fjernbrukeren samarbeide med kolleger gjennom gester som å peke på objekter, hodebevegelser som nikk, og til og med ansiktsuttrykk via robotproxyen.

Selv om den for øyeblikket er i sine tidlige faser, sier forskerne at programvaren allerede har potensial til å løse noen av de største utfordringene ved bruk av robotproxyer og utvidet virkelighet (AR) programvare for fjernsamarbeid.

VRoxy: Revolusjonerer Fjernsamarbeid 

Artikkelen “VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy” ble presentert på årets Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST) som ble holdt 29. okt. til 1. nov. i San Francisco. Forskningsartikkelen demonstrerer hvordan VRoxy kan tilpasse kartlegging av flere fysiske lokasjoner til et samlet virtuelt rom. 

Virtuell virkelighet gir en mulighet til å skape intuitive grensesnitt ved å immersere brukere i et 3D-miljø hvor de kan se og samhandle med roboter i delte eller fjernmiljøer, noe som gjør interaksjonen enklere. VR-grensesnitt har vist seg å redusere oppgaveløpstid, øke operatørens ytelse, og er generelt foretrukket fremfor tradisjonelle grensesnitt. Men selv om det er gjort betydelig grunnleggende arbeid med VR-robotgrensesnitt, gjenstår det fortsatt mye utvikling for å lage VR-teleoperasjonsgrensesnitt.

“Akkurat nå krever bevegelsesstyrte roboter for samarbeid at den fysiske lokasjonen har samme mengde plass som det eksterne miljøet, men det er ofte ikke tilfelle,” sa Brandon Woodard, Ph.D.-student ved Brown University som også er forsker i Visual Computing Group og tidligere har vært intern hos Nvidia (NVDA ), MIT Lincoln Laboratory, NASA’s Jet Propulsion Laboratory og Intel (INTC ). Han påpekte videre at rom har ulike dimensjoner, noe som er lett synlig selv når man møter folk i Zoom, videotelefoniprogrammet.

Ifølge artikkelen har nyere forskning på robotproxyer vist at man kan automatisk gjenskape mange ikke-verbale signaler som er viktige i same-lokasjons-samarbeid, men de krever ofte et symmetrisk maskinvareoppsett på hver lokasjon. Som en løsning introduserte teamet VRoxy, et system designet for å gi tilgang til fjernrom gjennom en robot, ved bruk av et VR-headset i et mye mindre rom, som et personlig kontor. Her sa forskerne at programmets automatiske sanntidsrespons er nøkkelen for både fjern- og lokale lagkamerater.

VRoxy kartlegger alle små bevegelser gjort av fjernbrukeren i VR-rommet til robotens større bevegelser i det fysiske rommet, noe som gjør det enkelt for brukeren å navigere i store fysiske områder. På denne måten kan en VR-bruker raskt navigere i en lavoppløselig gjengivelse av det eksterne rommet gjennom VRoxy. 

Når man setter på et VR-headset, får en VRoxy-bruker tilgang til to visningsmoduser. Den ene er live-modus, som viser et immersivt bilde av samarbeidsrommet i sanntid for interaksjon med lokale samarbeidspartnere. Den andre er en navigasjonsmodus som viser renderte stier i rommet, og gir raskere, jevnere bevegelse for fjernbrukere til å “teleportere” dit de ønsker å gå, samtidig som bevegelsessyke begrenses, sa forskerne. 

Dessuten betyr det at systemet er automatisk at lagkamerater enkelt kan fokusere på samarbeid i stedet for å manuelt styre roboten, som bruker strømmen fra et 360‑kamera for å støtte sanntidsinteraksjoner. 

Systemet legger også til rette for interaksjonsmodaliteter ved å gjengi mikrobevegelse rundt delte rom på proxyen. Disse flere modalitetene av ikke-verbale signaler, som hodevridning, ansiktsuttrykk, pekegester og øyegjennomblikk, ble fanget av VR‑brukeren gjennom Quest Pro, og blir deretter representert gjennom en telepresence-robot på den eksterne lokasjonen. 

Med VRoxy kan en samarbeidspartner navigere og samarbeide i et omfattende, fjernmiljø fra et mindre fysisk rom, samt umiddelbart bytte mellom separate arbeidsområder som er fysisk adskilt, uttalte forskerne. Dette viser at VRoxy kan tilpasse seg både stasjonære og mobile robotproxyer ved bruk av et forbruker‑grade headset.

I fremtidig arbeid har Sakashita, hovedforfatteren av artikkelen, som mål å styrke VRoxy med robotarmer for å la fjernbrukere samhandle med fysiske objekter i det levende rommet via robotproxyen. Videre ser han for seg at VRoxy kan kartlegge et rom selv, likt Roomba‑støvsugeren, som bruker ulike sensorer for å navigere og tilpasse seg omgivelsene. For øyeblikket er VRoxy avhengig av takmarkører for å navigere i et rom, men støtte for sanntidskartlegging kan muliggjøre bruk i et klasserom, sa Sakashita.

Hyunju Kim og Ruidong Zhang, begge doktorgradsstudenter innen informasjonsvitenskap, sammen med François Guimbretière, professor i informasjonsvitenskap ved Cornell Bowers CIS, og Woodard, er medforfattere av forskningsartikkelen, som støttes av Nakajima Foundation og National Science Foundation.

Synergien Frigjort: VR og Robotikk Samarbeid

Konseptet med virtuell virkelighet har eksistert lenge, siden 1960‑tallet. Imidlertid har bruken i robotikkfeltet vært begrenset. Dette til tross for at det er stor synergi mellom VR og robotikk. 

VR kan brukes i robotikk for å tilby immersiv robot-teleoperasjon og gjennomføre studier av menneske‑robot‑interaksjon og samarbeid, mens roboter bidrar til mer immersive VR‑opplevelser ved å gi haptisk tilbakemelding til brukerne.

Mangelen på VR‑integrasjon i robotikkfeltet har i stor grad skyldtes mangel på tilgjengelige og rimelige kommersielle VR‑enheter, som har gjort betydelige fremskritt det siste tiåret. Med dette har kombinasjonen av VR og robotikk for menneske‑robot‑interaksjon og samarbeid økt.

Med økende interesse for mer automatisering med rekonfigurerbare systemer som kan justeres etter skiftende behov, ser vi en økende bruk av virtuell virkelighet i robotikk for å gjøre kommunikasjonen mellom mennesker og maskiner mer vellykket.

Disse to teknologiene brukes nå i flere applikasjoner for å øke robotenes ytelse samtidig som en menneskelig operatør har kontroll. For eksempel gir VR‑trening i medisinsk robotikk leger og kirurger muligheten til å trene i en nesten virkelighetsnær situasjon uten å måtte håndtere ekte pasienter. VR kan også brukes til å trene soldater i håndtering av militære droner og roboter uten risiko for at dyrt og uerstattelig utstyr blir skadet. VR‑ og robotikkforskning brukes også til å optimalisere romutforskning i kompliserte miljøer. 

Ved å utnytte VR og robotikk kan VRoxy også føre til betydelige fremskritt i fjernsamarbeid og profesjonelle miljøer. Ved å la brukere på ulike fysiske steder samarbeide sømløst i delte rom, kan denne programvaren være svært verdifull for fjernteam som jobber med prosjekter som krever tett koordinering og kommunikasjon.

VR og robotikk er nyttige teknologier for trening hver for seg, men ved å kombinere dem blir utdanning innen alle felt mer intuitiv og immersiv. De hjelper også med å trene smartere roboter.

I tillegg til å bli brukt til trening og gi fjernassistanse og støtte, kan VRoxy også finne anvendelse i situasjoner der fysisk plass er begrenset, samt i fjernutdanning, ved å gi studenter immersive opplevelser i fysiske omgivelser. Den kan også legge til rette for virtuelle stedbesøk, slik at interessenter kan utforske fysiske rom på avstand og ta informerte beslutninger.

Selskaper som utnytter kraften i VR og robotikk 

Gitt potensialet i kombinasjonen av VR og robotikk, forsker flere selskaper og arbeider med å utnytte disse teknologiene, så la oss se på noen av de mest fremtredende:

1. Cambrian Intelligence

Den fokuserer på utvikling og anvendelse av maskinintelligens‑algoritmer. Cambrian Intelligence bygger teleoperasjonsgrensesnitt for intuitiv fjernkontroll av roboter med hånd‑ og armbevegelser ved bruk av spillteknologier som virtuell virkelighet, sporing og haptikk.

Per 21. september 2023 har Cambrian Intelligence samlet inn totalt $3 793 919 gjennom ulike finansieringsrunder, inkludert en betydelig ukjent serie, en pre‑seed‑investering, et tilskudd fra EASME – EU‑byrået for små og mellomstore bedrifter, og et uoppgitt beløp fra ff Venture Capital.

2. Intel 

Som en av verdens største produsenter av halvlederbrikker er Intel en nøkkelspiller i utviklingen av teknologier relatert til robotikk og VR, og leverer teknologier til begge feltene. Tidligere i år introduserte Intel MiDaS 3.1 for datamaskinsyn som en løsning på utfordringen med dybdemåling i utviklingen av et bredt spekter av applikasjoner innen robotikk, AR og VR.

INTC Prisdiagram

For øyeblikket handles Intel‑aksjene (INTC) til $38,73, opp 46,69 % i år, og selskapet betaler en utbytteavkastning på 1,29 %. For 3. kvartal 2023 rapporterte selskapet en omsetning på $14,2 milliarder, ned 8 % år‑over‑år (YoY) og resultat per aksje (EPS) på $0,07. 

“Vi leverte et fremragende tredje kvartal, understreket av gjennomgående fremgang på våre prosess‑ og produktveikart, avtaler med nye foundry‑kunder, og momentum mens vi bringer AI overalt,” sa Intel‑administrerende direktør Pat Gelsinger. 

3. Vicarious Surgical

Dette selskapet ledes av et team av teknologer og leger for å anvende de nyeste innovasjonene innen robotikk og virtuell virkelighet på kirurgiske prosedyrer. For å gi pasienter bedre resultater og mindre risiko eller invasivitet ved abdominale inngrep, bruker Vicarious Surgical en pasientvogn med to robotarmer med kamera‑aktiv synlighet og eksepsjonell mobilitet, sammen med kirurgkonsollen som styrer roboten, kontrollerbar via en 3D‑skjerm, et VR‑headset og proprietær programvare. 

RBOT Prisdiagram

For andre kvartal 2023 rapporterte Vicarious Surgical $82,8 millioner i kontanter, kontantekvivalenter og kortsiktige investeringer. I løpet av denne perioden fikk selskapet klarhet i den kliniske og regulatoriske veien med forventning om å fullføre den første ventrale hernie‑prosedyren på en pasient i midten av 2024. De signerte også en fjerde stor amerikansk sykehusnettverksavtale, og økte antall sykehuspartnere til over 250. Samtidig handles Vicarious Surgical‑aksjene (RBOT) for øyeblikket til $0,4263, med en P/E (TTM) på -0,68 og EPS (TTM) på -0,63.

Avsluttende tanker

Til tross for at det er en relativt ny teknologi, har adopsjonen av virtuell virkelighet blitt utbredt blant selskaper, organisasjoner og til og med myndigheter etter hvert som potensialet blir klarere med hver ny utvikling. VR får ikke bare stor oppmerksomhet innen spill, sport, helse, utdanning, eiendom, produksjon, markedsføring, bilindustri og forsvar, men endrer også robotikkindustrien på betydelige måter. 

Kombinasjonen av VR og robotikk har potensial til å redde liv og presse grensene for utforskning. Selv om den fortsatt er i utviklingsfasen, med faktorer som finansiering, teknologiske utfordringer og regulatoriske hensyn som påvirker veksten, ser vi stadig vitenskapsfolk og ingeniører gjøre gjennombrudd innen disse teknologiene.

Gitt fremgangen innen VR og robotikk, kan vi forvente å se anvendelsen av systemer som VRoxy i spesifikke bransjer i løpet av de neste 5‑10 årene, mens bredere adopsjon vil ta mer tid etter hvert som teknologien modnes og blir mer tilgjengelig.

Klikk her for listen over de 10 beste aksjene innen utvidet virkelighet (AR) og virtuell virkelighet (VR).