VRoxy: forskning om samarbete på distans med VR och robotik 2023

Den här artikeln från 2023 behandlar forskning omvirtuell verklighet (VR) och robotik. I en amerikansk undersökning från 2020 hade nästan var femte vuxen provat VR eller ägde ett headset. Det betydde inte att en femtedel använde tekniken regelbundet och är inget aktuellt globalt användartal. Utöver spel och underhållning undersöks professionella användningar.

Forskare vid Brown University och Cornell University utvecklade VRoxy, en forskningsprototyp för närvaro på distans genom en robot. Systemet reagerar på rörelser och gester från en användare med VR-headset.

Målet var samarbete mellan en användare i ett litet rum och kollegor i en större lokal. Roboten företräder användaren på arbetsplatsen. Systemet var inte en allmänt tillgänglig kommersiell tjänst. Att slippa handkontroll betyder inte att roboten saknar styrning.

Forskaren Mose Sakashita förklarade att VR kan använda förflyttningsteknik från spel, exempelvis ett virtuellt hopp till en annan plats.

Sakashita var då doktorand i informationsvetenskap vid Cornell.

Hans förklaring var:

En användare kan stanna fysiskt i ett litet rum och ändå samarbeta med kollegor i en större miljö på distans. Den virtuella förflyttningen innebär inte att roboten teleporteras fysiskt.

VRoxy byggde vidare på Cornells ReMotion. Den tidigare lösningen krävde liknande arbetsytor och motsvarande utrustning på båda platserna. VRoxy kopplade ett litet användarutrymme till större arbetsområden och förmedlade kroppsspråk genom en robot.

Användaren ser arbetsplatsen genom headsetet och företräds där av roboten. Rörelser i ett arbetsområde, pekningar, nickningar och ansiktsuttryck kan förmedlas. Användaren och kollegorna befinner sig fortfarande på olika fysiska platser.

Forskarna presenterade 2023 en tidig demonstration av samarbete på distans. Arbetet anknyter till frågor om robotrepresentanter och förstärkt verklighet (AR), men VR och AR är olika tekniker. Den beskrivna styrningen använder VR.

VRoxy: samarbete på distans 

Forskningsartikeln heterVRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxyoch presenterades på UIST 2023, ACM:s konferens den 29 oktober–1 november i San Francisco. Den beskriver hur flera arbetsområden kan visas och nås med hjälp av en robot. 

Ett VR-gränssnitt kan ge en rumslig bild av en robotmiljö och stödja vissa uppgifter. Kortare arbetstid, bättre prestation eller en preferens för VR beror dock på uppgift och studie. Det är inga allmänna garantier.

Brandon Woodard, då doktorand vid Brown och forskare i Visual Computing Group, förklarade att arbetsplatser har olika storlek. Artikeln nämnde tidigare praktik vid Nvidia (NVDA ), MIT Lincoln Laboratory, NASA:s Jet Propulsion Laboratory och Intel (INTC ). Skillnaden mellan exempelvis ett hemmakontor och ett laboratorium var det praktiska problem som VRoxy undersökte.

Tidigare robotrepresentanter kunde återge viktiga icke-verbala signaler men behövde ofta liknande utrustning och utrymme på båda platserna. VRoxy undersökte en uppsättning med headset i ett litet rum och robot på den större arbetsplatsen.

Systemet kopplar arbetsområden i den större lokalen till användarens begränsade utrymme. Virtuella förflyttningspunkter låter användaren välja en annan plats; roboten kör sedan dit. Det handlar inte om att godtyckligt förstora varje liten rörelse.

Direktläget visar miljön för kontakt med kollegor. Navigationsläget visar en förenklad tredimensionell miljö med virtuella övergångar. Övergången döljer robotens färd och ska göra upplevelsen smidigare och begränsa rörelsesjuka. Det garanterar inte att alla slipper besvär.

Den automatiska navigeringen är avsedd att minska behovet av manuell körning. För kontakten på arbetsplatsen använder roboten bland annat en kamera med 360 graders synfält.

Quest Pro kan registrera huvudrörelser, ansiktsuttryck och blickriktning; även pekningar ingår i samspelet. Roboten har en skärm och en mekanisk pekare. Pekaren är inte en griparm som redan kan plocka upp föremål.

VRoxy kan växla virtuellt mellan arbetsområden. Vid en övergång till en annan byggnad aktiveras en annan robot; den första roboten hoppar inte mellan byggnader. Demonstrationen visar möjligheter, inte bevisad användbarhet i alla miljöer.

Robotarmar för att hantera föremål och egen kartläggning av rum var framtidsplaner. Systemet använde 2023 markörer i taket för navigering. Jämförelsen med en Roomba beskrev en önskad senare funktion.

Medförfattare var Hyunju Kim, Ruidong Zhang, Brandon Woodard och François Guimbretière, tillsammans med huvudförfattaren Mose Sakashita. National Science Foundation och Nakajima Foundation stödde forskningen.

Att kombinera VR och robotik

Idén om VR har en lång historia. Kombinationen med robotik har olika användningar och begränsningar och är inte ett enda enhetligt produktområde. 

VR kan användas för robotstyrning på distans och studier av samarbete mellan människa och robot. Vissa robotsystem ger känsel- eller kraftåterkoppling i VR. Det betyder inte att varje VRoxy-prototyp har sådan återkoppling.

Billigare headset och bättre rörelseregistrering har möjliggjort fler experiment. Pris och tillgång är dock inte de enda faktorerna. Förbindelse, fördröjning, säkerhet, uppgiftsutformning och användbarhet spelar också roll.

Omkonfigurerbara system kan anpassas efter vissa arbetsbehov. Om VR förbättrar kommunikationen med roboten måste bedömas för varje tillämpning.

Forskningsområden omfattar simulering för medicinsk utbildning, träning i robotstyrning och utforskning av svåråtkomliga miljöer. En simulering kan minska vissa övningsrisker men visar inte automatiskt bättre kliniska resultat eller helt säker drift i verkligheten.

VRoxy undersökte hur kollegor på olika platser kan dela rumsliga signaler. Prototypen kan ge idéer till team som behöver samordning, men bevisade inte bred kommersiell lämplighet.

VR och robotik kan stödja utbildning och insamling av demonstrationer för robotar. Mervärdet beror på lärandemål, utrustning och utvärdering.

Distansutbildning och virtuella platsbesök är tänkbara användningar. Beskrivningen gäller möjligheter i 2023 års forskning, inte redan verifierad installation i alla dessa sektorer.

Företagsexempel från 2023 

Följande exempel rör robotik, bildanalys eller kirurgiska system. Företagen blir inte därmed partner till VRoxy. Börsuppgifter är historiska, medan inbäddade diagram kan uppdateras.

1. Cambrian Intelligence

Artikeln beskrev maskinintelligens och gränssnitt för fjärrstyrning hos Cambrian Intelligence . Hand- och armrörelser, rörelseregistrering, VR och haptik ingick i den dåvarande beskrivningen. Den nuvarande webbplatsen fokuserar på tredimensionellt maskinseende för industrirobotarmar; det är inte samma sak som VRoxy.
Artikeln nämnde totalt 3 793 919 dollar i finansiering per den 21 september 2023. Det exakta historiska beloppet har inte bekräftats här med en primär finansieringskälla. Hänvisningarna omfattade en tidig investering, bidrag från det dåvarande EU-organet EASME och ff Venture Capital. En ospecificerad finansieringsrunda är inte en runda som formellt heter ”okänd serie”.

2. Intel 

Intel utvecklar halvledare och teknik som kan användas inom bland annat bildanalys och robotik. Det Intelanknutna MiDaS 3.1 uppskattar relativt djup från en enda bild. Det officiella projektet anger december 2022 som lanseringstidpunkt, medan den tekniska rapporten kom i juli 2023. Relativt djup är inte automatiskt en exakt avståndsmätning i meter.

INTC Prisdiagram

Intelkursen 38,73 dollar, uppgången på 46,69 procent sedan årsskiftet och direktavkastningen på 1,29 procent var en ögonblicksbild från 2023. För tredje kvartalet 2023 redovisade Intel 14,2 miljarder dollar i omsättning, 8 procent mindre än året före. Utspädd vinst per aktie var 0,07 dollar enligt GAAP, jämfört med 0,41 dollar på justerad non-GAAP-basis.

Pat Gelsinger, då vd, betonade vid rapporten framsteg för produkter och tillverkningsprocesser, nya kunder för kontraktstillverkning av chip och satsningen på AI. Det var hans bedömning av kvartalet, inte en garanti för framtida resultat.

3. Vicarious Surgical

Vicarious Surgical utvecklade ett kirurgiskt robotsystem. Bättre utfall och mindre ingrepp vid bukkirurgi var konstruktionsmål, inte kliniska fördelar som bevisades av denna beskrivning. Systemet omfattar en patientmodul med två robotarmar, kameror och en konsol med tredimensionell bild. Ett VR-headset syntes i tidiga demonstrationer, men företaget anger uttryckligen att det inte ingår i första generationen. Företaget uppger också att systemet saknar FDA:s marknadstillstånd och inte är till kommersiell försäljning i USA. En Breakthrough Device-beteckning är inte ett marknadstillstånd.

RBOT Prisdiagram

Per den 30 juni 2023 hade Vicarious Surgical cirka 82,8 miljoner dollar i likvida medel och kortfristiga placeringar; detta är inte kvartalsomsättning. I juli 2023 räknade företaget med ett första ingrepp för bukväggsbråck på en patient i mitten av 2024. Det var en dåvarande plan, inte bevis på ett utfört eller godkänt ingrepp. Ett fjärde avtal med ett amerikanskt sjukhusnätverk innebar att partnerna representerade fler än 250 sjukhus, inte 250 separata nätverksavtal eller installerade robotar. Kursen 0,4263 dollar, P/E −0,68 och vinst per aktie −0,63 i artikeln var historiska börsuppgifter, inte resultat per aktie för Q2 eller aktuella siffror. Senare aktiehändelser begränsar direkta kursjämförelser. Negativt P/E visar inte lönsamhet.

Avslutning

VR undersöks och används för utbildning, visualisering och samarbete. Införandet varierar mycket mellan sektorer. En prototypdemonstration visar inte att tekniken redan har fått bred spridning inom alla nämnda branscher.

Kombinationen med robotik erbjuder möjligheter men kräver finansiering, teknisk utveckling, säkerhetsbedömning och ibland tillstånd. Utforskning och vård kan få nytta utan att konkreta resultat redan är säkra.

Tidsrymden fem till tio år som nämndes 2023 avsåg ungefär 2028–2033. Det var en förväntan, inte en garanterad införandeplan eller en ny tidsfrist från i dag.

Se översikten över aktier inom förstärkt och virtuell verklighet.