Samspelet mellan virtuell verklighet och robotik

Virtuell verklighet (VR) och robotik kan minska upprepat arbete och förändra samspelet med digitala och fysiska miljöer. Artikeln undersöker möjligheter och begränsningar utifrån forskning och förväntningar från 2023.

Headset som Meta Quest och VR-spel på plattformar som Steam gjorde tekniken mer känd. I maj 2023 bedömde Market Research Future att robotikmarknaden kunde nå 214,6 miljarder amerikanska dollar år 2030, inte 2028. Det är en prognos från den aktuella studien, inte en uppnådd marknadsstorlek eller garanterad tillväxt.

I den fysiska världen används robotik inom industri och näringsliv, bland annat inom:

• Bilindustri
• Kemisk industri
• Elektroteknik och elektronik
• Livsmedelsindustri
• Metallindustri och andra branscher

Servicerobotar har även tillämpningar inom:

• Jordbruk
• Medicin
• Underhållning
• Hushållsanvändningar

VR och robotik kan också kombineras. Ett virtuellt gränssnitt kan göra det möjligt att styra en robot på avstånd. Funktionerna beror på det konkreta systemet och dess omgivning.

VRoxy: VR och robotar för samarbete på avstånd

Forskningsprototyper visar hur en robot kan representera en person på en annan plats och förmedla personens kroppsspråk.

VRoxy är ett exempel på yrkesmässigt samarbete på avstånd. År 2023 var det en forskningsprototyp, inte en allmänt tillgänglig kommersiell produkt.

Vad är VRoxy?

Systemet beskrevs i forskningsartikeln ”VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy” vid ACM-konferensen UIST i San Francisco den 29 oktober–1 november 2023.

Med ett VR-headset kan användaren delta genom en robot i ett annat rum. VRoxy kopplar ett litet användarrum till större arbetsområden med virtuell navigering och anpassning av rörelser. Det innebär inte att varje liten rörelse alltid förstoras med en fast faktor.

Så fungerar VRoxy

Prototypen har en direktvy och en navigeringsvy.

Direktvyn visar 360-graders video för samtal och samspel med kollegor vid roboten.

Navigeringsvyn använder en förenklad tredimensionell modell. Användaren byter virtuell position och roboten kör fysiskt till motsvarande arbetsområde.

Användaren behöver inte hela tiden styra roboten med en handkontroll. Systemet omvandlar användarens handlingar till navigeringskommandon. Automatisk körning betyder inte att användaren saknar kontroll.

Prototypen använder spårningsfunktioner i Meta Quest Pro för att överföra icke-verbala signaler som:

• Huvudvridningar
• Ansiktsuttryck
• Pekgester
• Blickriktning genom robotens återgivning av användaren

Vad VRoxy visar om samarbete på avstånd

Användarrummet behöver inte vara lika stort som arbetsplatsen på avstånd. Ett virtuellt positionsbyte teleporterar inte roboten; den måste fortfarande köra. Deltagande i en annan byggnad kräver en annan lämplig robot där.

Fortsatt forskning om VRoxy

Robotarmar för att hantera föremål och automatisk kartläggning var år 2023 planerade framtida arbeten. Prototypens mekaniska pekare var inte en griparm. Navigeringen använde ett förberett rum med markörer i taket.

Ett annat forskningsprojekt vid University of Tsukuba i Japan undersökte köldförnimmelser vid en i genomsnitt nästan konstant hudtemperatur. Det är ett separat experiment med ett sensoriskt gränssnitt, inte en funktion i VRoxy.

Läs mer om VRoxy och samarbete på avstånd.

University of Tsukubas forskning om köldförnimmelser

Universitetets meddelande från oktober 2023 beskriver en kontaktfri metod med kall luft och ljus. Den skapar en ihållande köldförnimmelse medan hudtemperaturen i genomsnitt hålls nästan konstant.

Så begränsas restvärmen

Kall luft ger en märkbar temperatursänkning, medan synligt ljus ger en liten höjning som kan vara omärkbar. Snabba växlingar begränsar den samlade temperaturförändringen. Det finns alltså verklig värmeöverföring och små svängningar, inte en förnimmelse utan fysisk stimulans.

Upprepad påverkan kan minska den upplevda styrkan hos en temperaturretning. Forskarna utnyttjade känsligheten för snabba förändringar för att bevara köldförnimmelsen med lite restvärme.

Möjliga framtida VR-tillämpningar

Studien undersökte metoden med 15 deltagare. Under vissa försöksförhållanden upplevde de flesta ihållande kyla utan värmekänsla. Det visar inte samma effekt hos alla eller obegränsad användningstid.

Sådana gränssnitt kan öka känslan av närvaro i virtuella miljöer. Ett laboratorieförsök är ännu inte ett kommersiellt VR- eller robotsystem.

Temperaturupplevelser i metaversum är en möjlig tillämpning. Praktisk användning kräver fortsatt bedömning av komfort, säkerhet och teknisk integration.

Exemplen visar olika forskningsinriktningar. VR, robotik och haptiska gränssnitt kan komplettera varandra men har inte automatiskt samma funktioner eller obegränsade möjligheter.

Möjliga användningsområden omfattar:

• Medicin
• Utbildning
• Träning
• Design
• Beredskap och andra områden

Tillämpningar och begränsningar

Medicinsk utbildning och fjärrstyrning

VR används eller undersöks inom medicinsk utbildning, smärtbehandling och rehabilitering. Robotik har också medicinska tillämpningar. Användningen av den ena tekniken förutsätter inte alltid den andra.

Virtuella operationer med haptiska handkontroller ger övningsmöjligheter. De kan komplettera praktisk utbildning men ersätter den inte helt och garanterar inte klinisk kompetens.

Fjärrstyrning av robotarmar är ett eget forskningsområde. VRoxy demonstrerade inte fjärrkirurgi 2023 och var inte ett godkänt operationssystem. Ingrepp på patienter kräver särskild utrustning, tillförlitlig kommunikation, klinisk dokumentation och nödvändiga godkännanden.

Se översikten över fem aktier med koppling till AR och VR inom vården.

Komplexa träningsmiljöer

Träning under verkliga förhållanden kan vara dyr eller riskfylld. Simulering ger möjlighet till kontrollerad upprepning av vissa situationer.

Militära simulatorer och flygsimulatorer kan minska användningen av dyr utrustning och exponeringen för risk. Rehabilitering efter exempelvis stroke är behandling med egna kliniska krav och ska inte förväxlas med utbildning av operatörer.

VR kan visa ett scenario, medan lämplig robotutrustning eller haptisk utrustning tillför rörelse och fysisk återkoppling. Noggrannhet och effekt behöver bedömas för varje användning.

Utbildning och träning

Utbildning inom naturvetenskap, teknik, arkitektur och medicin kan kräva dyra material, instrument och anläggningar. Resurserna varierar mellan institutioner.

Begränsad tillgång till laboratorier och maskiner kan försvåra praktiskt lärande, särskilt vid institutioner med små ekonomiska resurser.

VR kan simulera situationer, medan fjärrstyrda robotar kan ge tillgång till verklig utrustning. Utrustningen, underhållet och anslutningen behövs fortfarande på den andra platsen.

Design och prototyputveckling

Virtuella modeller och robotgränssnitt kan stödja samarbete vid design och prototyputveckling. Vissa idéer kan provas innan en fysisk modell byggs.

Flera perspektiv och digitala användarfigurer kan underlätta samarbetet. Fysiskt och haptiskt samspel beror på hårdvaran och återger inte automatiskt alla egenskaper hos ett verkligt föremål.

Beredskapsövningar

Det behövs ingen verklig nödsituation för att utbilda beredskapspersonal: övningar och simuleringar används redan. VR och lämplig robotutrustning kan ge variation och kontrollerad svårighetsgrad utan att ersätta alla praktiska övningar.

Stora teknikföretag och uppslukande tillämpningar

Följande företag hade verksamhet eller planer inom VR, AR eller blandad verklighet 2023. Det innebär inte att alla utvecklade robotsystem som VRoxy.

1. Apple

För Apple (AAPL ) hänvisade den ursprungliga analysen till analytikerprognoser om mer än 20 miljarder dollar i årlig AR/VR-omsättning år 2030, med ett optimistiskt scenario på 70 miljarder. Det var varken uppnådd omsättning eller en företagsprognos. Även leverantörskedjans produktionssiffror för Apples AR/VR-headset på först 300 000–500 000 enheter, 850 000 under räkenskapsåret 2024 och 3,4 miljoner under räkenskapsåret 2026 var uppskattningar. Apples meddelande den 5 juni 2023 angav planerad amerikansk försäljningsstart för Vision Pro till början av 2024, inte decemberkvartalet 2023.

Den historiska marknadsbilden i analysen från 2023 angav Apple-kursen till 182,45 dollar, en genomsnittlig daglig handelsvolym över 61 miljoner aktier och ett börsvärde omkring 2,84 biljoner dollar. Detta är inte aktuella marknadsdata.

Utdelning och vinst per aktie garanterar inte framtida avkastning. Apples börsvärde visar inte heller att VR-produkter blir en kommersiell framgång.

2. Microsoft

Microsoft (MSFT ) utvecklade HoloLens för blandad verklighet. Den ursprungliga analysen hänvisade till en extern uppskattning av omkring 300 000 sålda enheter fram till oktober 2022, inte en aktuell totalsiffra bekräftad av företaget. IVAS-avtalet med USA:s armé gällde särskilda militära system baserade på HoloLens-teknik. Det möjliga värdet var upp till 21,88 miljarder dollar under fem år med möjlighet till fem års förlängning, inte omedelbart uppnådd omsättning.

Den historiska marknadsbilden från 2023 angav Microsoft-kursen till 361,53 dollar, ned 1,67 dollar eller 0,46%, börsvärdet till 2,69 biljoner dollar och det dåvarande 52-veckorsintervallet till 219,35–366,78 dollar. Uppgifterna är inte aktuella och intervallet garanterar inte säkerhet eller avkastning.

3. Meta

Meta hade en viktig position genom Quest 2. Den ursprungliga analysens 17 miljoner sålda headset var en extern uppskattning, inte en aktuell totalsiffra bekräftad av företaget. Meta Quest Pro lanserades i oktober 2022 med ett amerikanskt introduktionspris på 1 499,99 dollar, inte dagens pris. Quest 3 kom den 10 oktober 2023 från 499,99 dollar för versionen med 128 GB.

Den historiska marknadsbilden från 2023 angav för Meta ett 52-veckorsintervall på 100,74–330,54 dollar, ett börsvärde omkring 821,045 miljarder dollar och 2,57 miljarder aktier. Detta är inte aktuella uppgifter.

Samma historiska översikt angav en genomsnittlig tiodagarsvolym på 24,35 miljoner aktier, beta 1,21 och en kursuppgång på 166,05% från början av 2023 till mättillfället. Beta beror på beräkningsmetoden och tidigare avkastning garanterar inte framtida avkastning.

4. Samsung

År 2023 cirkulerade uppgifter om ett framtida Samsung-headset för blandad verklighet. Fyra spårningskameror, pancake-linser, två RGB-kameror, djupsensor, ögon- och handspårning, OLED-mikroskärmar och Exynos 2200 var då rykten om en prototyp, inte bekräftade specifikationer för en kommersiell produkt eller operationsrobot.

Den ursprungliga analysen angav omsättningsprognoser på 261 070 miljarder won för 2023 och 300 279 miljarder för 2024 samt förväntade nettovinster på 10 900 respektive 29 051 miljarder won. Det var dåtidens uppskattningar, inte slutliga resultat. Nettokassa är en balanspost, inte ett kassaflöde. Även den angivna direktavkastningen över 2% var historisk och ingen tillväxtgaranti.

Uppslukande gränssnitt kan ge nya användningsområden. Kommersiell framgång beror bland annat på pris, komfort, programvara och användarnas faktiska behov.

Se översikten över tio aktier med koppling till AR och VR.

Utsikter för VR och robotik

VR kan stärka känslan av närvaro och robotik möjliggöra fysiskt samspel på avstånd. Bättre tillgång till utrustning och upprepningsbara övningar är möjliga fördelar. Virtuell teleportering flyttar perspektivet eller användarens representation, inte ett fysiskt föremål ögonblickligen.

Fortsatt utveckling kräver forskning, finansiering och teknisk utvärdering. AI och maskininlärning kan stödja vissa funktioner, men garanterar inte ökande investeringar, obegränsad noggrannhet eller allmän användning.