Bryta barriärer: Hur VR-robotik formar framtiden för sömlöst professionellt samarbete

VR-industrin (virtuell verklighet (VR)) växer i snabb takt, med nästan en av fem amerikanska konsumenter som använde VR år 2020. Men medan spel- och underhållningssektorerna för närvarande är de största drivkrafterna för VR-tillväxt globalt, sprider sig denna uppslukande teknik också till andra livsområden.

Forskare vid Brown University och Cornell University arbetar för att utöka VR-användning i professionella miljöer. Det innebär en telepresence‑robot som automatiskt och i realtid svarar på rörelser och gester som en fjärranvändare gör i virtuell verklighet.

För detta utvecklade forskarteamet det robotiska systemet som heter VRoxy, en styrningsfri, VR‑kontrollerad robotproxy som har potential att möjliggöra praktiskt samarbete mellan personer som arbetar på distans i ett litet utrymme, som ett kontor, med kollegor som arbetar i ett mycket större utrymme.

“Den stora fördelen med virtuell verklighet är att vi kan utnyttja alla typer av förflyttningstekniker som folk använder i VR‑spel, som att omedelbart flytta från en position till en annan.”

– Mose Sakashita, doktorand i informationsvetenskap vid Cornell.

Han tillade:

“Denna funktionalitet gör det möjligt för fjärranvändare att fysiskt uppta en mycket begränsad mängd utrymme men ändå samarbeta med kollegor i en mycket större fjärrmiljö.”

Så skapade teamet VRoxy, byggt på en liknande robot från Cornell som heter ReMotion, vilken upptar fysisk plats för en fjärranvändares räkning och automatiskt speglar användarens rörelser i realtid innan den förmedlar viktig kroppsspråk som annars går förlorat i vanliga virtuella miljöer. ReMotions funktionalitet var begränsad till scenarier där båda användarna – den lokala och den fjärranvändaren – hade identiska hårdvaruuppsättningar och jämförbara arbetsytor. VRoxy har dock övervunnit denna begränsning.

Vad programvaran VRoxy gör är att den låter en användare på en fjärrplats sätta på sig ett VR‑headset och virtuellt transporteras till ett utrymme, som kan vara ett kontor, laboratorium eller någon annan miljö där deras kollegor arbetar fysiskt. På den fysiska platsen representeras fjärranvändaren sedan genom en robot, vilket gör att de kan röra sig genom den miljön med naturliga rörelser, som att gå. Dessutom kan fjärranvändaren samarbeta med kollegor genom gester som att peka på föremål, huvudanimationer som nickning och till och med ansiktsuttryck via robotproxyn.

Även om den för närvarande är i ett tidigt skede säger forskarna att mjukvaran redan har potential att lösa några av de största utmaningarna som uppstår vid användning av robotproxyer och förstärkt verklighet (AR) mjukvara för fjärrsamarbete.

VRoxy: Revolutionerar fjärrsamarbete 

Papperet “VRoxy: Samarbete över ett brett område från ett kontor med en VR‑driven robotproxy” presenterades på årets Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST) som hölls 29 oktober till 1 november i San Francisco. Forskningspapperet visar hur VRoxy kan möjliggöra kartläggning av flera fysiska platser till ett enhetligt virtuellt utrymme. 

Virtuell verklighet ger en möjlighet att skapa intuitiva gränssnitt genom att omsluta användare i en 3D‑miljö där de kan se och interagera med robotar i delade eller fjärrmiljöer, vilket möjliggör enklare interaktion. VR‑gränssnitt har visat sig hjälpa till att minska uppgiftens slutförandetid, öka operatörens prestanda och är generellt föredragna framför traditionella gränssnitt. Men även om en betydande mängd grundläggande arbete har gjorts med VR‑robotgränssnitt, krävs fortfarande mycket utveckling för att skapa VR‑teleoperationsgränssnitt.

“Just nu kräver rörelsestyrda robotar för samarbete att den fysiska platsen har samma mängd utrymme som den fjärrmiljö, men så är det ofta inte fallet,” sade Brandon Woodard, doktorand vid Brown University som också är forskare för Visual Computing Group och tidigare har praktikat på Nvidia (NVDA ), MIT Lincoln Laboratory, NASA:s Jet Propulsion Laboratory och Intel (INTC ). Han påpekade vidare att rum har olika dimensioner, vilket är lätt synligt även när man möter personer i Zoom, videotelefoniprogrammet.

Enligt papperet har ny forskning om robotproxyer visat att man automatiskt kan reproducera många icke‑verbala signaler som är viktiga i samarbete på samma plats, men de kräver ofta en symmetrisk hårdvaruuppsättning på varje plats. Som en lösning på detta introducerade teamet VRoxy, ett system designat för att möjliggöra åtkomst till fjärrutrymmen via en robot, med ett VR‑headset i ett mycket mindre utrymme, som ett personligt kontor. Här sade forskarna att mjukvarans automatiska realtidsrespons är nyckeln för både fjärr‑ och lokala lagkamrater.

VRoxy kartlägger alla små rörelser som fjärranvändaren gör i VR‑rymden till robotens större rörelser i den fysiska världen, vilket låter användaren enkelt navigera stora fysiska utrymmen. På så sätt kan en VR‑användare snabbt navigera i en lågupplöst återgivning av fjärrutrymmet via VRoxy.

När man sätter på ett VR‑headset får en VRoxy‑användare tillgång till två visningslägen. Det ena är live‑läge, som visar en uppslukande bild av det gemensamma utrymmet i realtid för interaktion med lokala samarbetspartners. Det andra är ett navigationsläge som visar renderade vägar i rummet, vilket möjliggör snabbare, smidigare rörelse för fjärranvändare att “teleportera” till önskad plats samtidigt som rörelsesjuka begränsas, enligt forskarna.

Dessutom innebär det automatiska systemet att lagkamraterna enkelt kan fokusera på samarbete istället för att manuellt styra roboten, som använder flödet från en 360‑kamera för att stödja interaktion i realtid.

Systemet underlättar också interaktionsmodaliteter genom att rendera mikro‑mobilitet runt delade utrymmen på proxyn. Dessa flera modaliteter av icke‑verbala signaler, såsom huvudrotation, ansiktsuttryck, pekgester och ögonrörelser, fångades av VR‑användaren via Quest Pro, vilket sedan representeras genom en telepresence‑robot på fjärrplatsen.

Med VRoxy kan en samarbetspartner navigera och samarbeta inom en omfattande fjärrmiljö från ett mindre fysiskt utrymme samt omedelbart växla mellan separata arbetsytor som är fysiskt åtskilda, enligt forskningen. Detta visar att VRoxy kan anpassas till både stationära och mobila robotproxyer med ett konsumentklassat headset.

I framtida arbete planerar Sakashita, huvudförfattaren till papperet, att förstärka VRoxy med robotarmar för att låta fjärranvändare interagera med fysiska föremål i den levande miljön via robotproxyn. Dessutom förutser han att VRoxy kan göra sin egen kartläggning av ett utrymme, likt Roomba‑dammsugaren, som använder olika sensorer för att navigera och anpassa sig till sin omgivning. För närvarande förlitar sig VRoxy på takmarkörer för att navigera i ett rum, men stöd för realtidskartläggning skulle kunna möjliggöra dess användning i ett klassrum, sade Sakashita.

Hyunju Kim och Ruidong Zhang, båda doktorander inom informationsvetenskap, tillsammans med François Guimbretière, professor i informationsvetenskap vid Cornell Bowers CIS, och Woodard, är medförfattare till forskningspapperet, som stöds av Nakajima Foundation och National Science Foundation.

Synergins frigörelse: VR och robotik‑samarbete

Konceptet med virtuell verklighet har funnits länge, sedan 1960‑talet. Dess användning inom robotikområdet har dock varit begränsad. Detta trots att det finns en stor synergier mellan VR och robotik. 

VR kan användas inom robotik för att erbjuda uppslukande robotteleoperation och för att genomföra studier om människa‑robot‑interaktion och samarbete, medan robotar bidrar till mer uppslukande VR‑upplevelser genom att ge haptisk återkoppling till användarna.

Bristen på VR‑integration inom robotik har i stor utsträckning berott på avsaknaden av tillgängliga och prisvärda kommersiella VR‑enheter, som har gjort betydande framsteg under det senaste decenniet. Med detta har kombinationen av VR och robotik för människa‑robot‑interaktion och samarbete ökat.

Med ett ökande intresse för mer automation med omkonfigurerbara system som kan anpassas efter förändrade behov ser vi en växande användning av virtuell verklighet inom robotik för att göra kommunikationen mellan människor och maskiner mer framgångsrik.

Dessa två teknologier används för närvarande i flera tillämpningar för att förbättra robotarnas prestanda samtidigt som en människa kan ha kontrollen. Till exempel ger VR‑träning inom medicinsk robotik läkare och kirurger möjlighet att öva i en nästan verklig situation utan att behöva hantera faktiska patienter. VR kan också användas för att träna soldater att hantera militära drönare och robotar utan risken att dyr och oersättlig utrustning skadas. VR‑ och robotikforskning används dessutom för att optimera rymdforskning i komplicerade miljöer.

Genom att utnyttja VR och robotik kan VRoxy också medföra betydande framsteg i fjärrsamarbete och professionella miljöer. Genom att låta användare på olika fysiska platser samarbeta sömlöst i delade utrymmen kan denna mjukvara vara mycket värdefull för fjärrteam som arbetar med projekt som kräver nära samordning och kommunikation.

VR och robotik är användbara teknologier för egen träning, men genom att kombinera dem blir utbildning inom alla möjliga områden mer intuitiv och uppslukande. De hjälper även till att träna smartare robotar.

Förutom att användas för träningsändamål och för att erbjuda fjärrassistans och stöd, kan VRoxy även hitta sin tillämpning i situationer där fysiskt utrymme är begränsat, samt i fjärrutbildning, genom att ge studenter uppslukande upplevelser i fysiska miljöer. Det kan också underlätta virtuella platsbesök, så att intressenter kan utforska fysiska utrymmen på distans och fatta informerade beslut.

Företag som utnyttjar kraften i VR och robotik 

Med tanke på potentialen i kombinationen av VR och robotik forskar flera företag och arbetar med att utnyttja dessa teknologier, så låt oss titta på några av de mest framstående:

1. Cambrian Intelligence

Företaget fokuserar på utveckling och tillämpning av maskininlärningsalgoritmer. Cambrian Intelligence bygger teleoperationsgränssnitt för att intuitivt styra robotar på avstånd med hand- och armrörelser med hjälp av spelteknologier såsom virtuell verklighet, spårning och haptik.
Från och med den 21 september 2023 har Cambrian Intelligence samlat in totalt 3 793 919 USD genom olika finansieringsrundor, inklusive en betydande serie‑okänd runda, en förseedinvestering, ett bidrag från EASME – EU:s verkställande byrå för små och medelstora företag, samt ett oannonserat belopp från ff Venture Capital.

2. Intel 

Som en av världens största tillverkare av halvledarchip är Intel en nyckelspelare i utvecklingen av teknologier relaterade till robotik och VR, och tillhandahåller teknologier för båda fälten. Tidigare i år introducerade Intel MiDaS 3.1 för datorseende som en lösning på djupestimeringsutmaningen i skapandet av ett brett spektrum av tillämpningar inom robotik, AR och VR.

INTC Prisdiagram

För närvarande handlas Intels (INTC) aktier till $38,73, upp 46,69 % i år, och företaget betalar en utdelningsavkastning på 1,29 %. För Q3 2023 rapporterade de en omsättning på 14,2 miljarder USD, ned 8 % år‑till‑år (YoY) och vinst per aktie (EPS) på $0,07.

“Vi levererade ett enastående tredje kvartal, understruket av framsteg över hela linjen i våra process‑ och produktplaner, avtal med nya foundry‑kunder och momentum när vi sprider AI överallt,” sade Intel‑VD Pat Gelsinger.

3. Vicarious Surgical

Detta företag leds av ett team av teknologer och läkare för att tillämpa de senaste innovationerna inom robotik och virtuell verklighet på kirurgiska ingrepp. För att ge patienter bättre resultat och mindre risk eller invasivitet vid bukoperationer använder Vicarious Surgical en patientvagn med två robotarmar med kamerabaserad sikt och exceptionell rörlighet samt en kirurgkonsol för att styra roboten, kontrollerbar via en 3D‑skärm, ett VR‑headset och den proprietära mjukvaran.

RBOT Prisdiagram

För det andra kvartalet 2023 rapporterade Vicarious Surgical $82,8 miljoner i kontanter, likvida medel och kortfristiga investeringar. Under denna period fick företaget klarhet i den kliniska och regulatoriska vägen med förväntningen att slutföra den första ventrala bråcksoperationen på en patient i mitten av 2024. De skrev också under ett fjärde stort avtal med ett amerikanskt sjukhussystem, vilket ökade deras totala sjukhuspartners till över 250. Samtidigt handlas Vicarious Surgical’s (RBOT) aktier för närvarande till $0,4263, med ett P/E (TTM) på -0,68 och EPS (TTM) på -0,63.

Avslutande tankar

Trots att det är en relativt ny teknik har antagandet av virtuell verklighet spridits brett bland företag, organisationer och till och med regeringar i takt med att dess potential blir tydligare med varje ny utveckling. VR får inte bara stor uppmärksamhet inom spel, sport, sjukvård, utbildning, fastigheter, tillverkning, marknadsföring, bilindustri och försvar, utan förändrar också robotikindustrin på betydande sätt.

Kombinationen av VR och robotik har potential att rädda liv och driva gränserna för utforskning. Även om den fortfarande är i utvecklingsfasen, med faktorer som finansiering, tekniska utmaningar och regulatoriska överväganden som påverkar tillväxten, ser vi ständigt hur forskare och ingenjörer gör genombrott inom dessa teknologier.

Med tanke på framstegen inom VR och robotik kan vi förvänta oss att se tillämpning av system som VRoxy i specifika branscher inom de kommande 5–10 åren, medan en bredare adoption kommer att ta längre tid när teknologin mognar och blir mer tillgänglig.

Klicka här för listan över de 10 bästa aktierna inom förstärkt verklighet (AR) och virtuell verklighet (VR).