VRoxy: Forschung zur Zusammenarbeit mit VR und Robotik im Jahr 2023

Dieser Artikel von 2023 behandelt Forschung zu virtueller Realität (VR) und Robotik. In einer US-Umfrage von 2020 hatte fast jeder fünfte Erwachsene VR bereits ausprobiert oder besaß ein Headset. Das bedeutete nicht, dass ein Fünftel die Technik regelmäßig nutzte, und ist keine aktuelle weltweite Nutzerzahl. Neben Spielen und Unterhaltung werden berufliche Anwendungen untersucht.

Forschende der Brown University und der Cornell University entwickelten VRoxy, einen Forschungsprototyp für Anwesenheit aus der Ferne durch einen Roboter. Das System reagiert auf Bewegungen und Gesten einer Person mit VR-Headset.

Ziel war die Zusammenarbeit zwischen einer Person in einem kleinen Raum und Kollegen in einer größeren Umgebung. Der Roboter vertritt die Person am Arbeitsort. Das System war kein allgemein verfügbarer kommerzieller Dienst. Bedienung ohne Handcontroller bedeutet nicht fehlende Steuerung.

Der Forscher Mose Sakashita erläuterte, dass VR Bewegungstechniken aus Spielen nutzen kann, etwa einen unmittelbaren virtuellen Wechsel zu einem anderen Punkt.

Sakashita war damals Doktorand der Informationswissenschaft an Cornell.

Seine Erklärung lautete sinngemäß:

Eine Person kann physisch in einem kleinen Raum bleiben und mit Menschen in einer größeren Umgebung zusammenarbeiten. Der virtuelle Ortswechsel ist keine physische Teleportation des Roboters.

VRoxy baute auf Cornells ReMotion auf. Das frühere System benötigte entsprechende Geräte und ähnlich große Arbeitsbereiche an beiden Orten. VRoxy verknüpfte einen kleinen Nutzerraum mit größeren Arbeitsbereichen und übertrug Körpersprache durch einen Roboter.

Die Person sieht den entfernten Arbeitsplatz im Headset und wird dort durch den Roboter vertreten. Bewegungen im Aufgabenbereich, Zeigen, Nicken und Gesichtsausdrücke lassen sich übermitteln. Alle Beteiligten bleiben an ihren jeweiligen physischen Orten.

Die Forschenden präsentierten 2023 eine frühe Demonstration der Zusammenarbeit auf Distanz. Die Arbeit berührt Fragen zu Robotervertretern und erweiterter Realität (AR), doch VR und AR sind unterschiedliche Techniken. Die beschriebene Bedienung nutzt VR.

VRoxy: Zusammenarbeit auf Distanz 

Die Forschungsarbeit heißtVRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxyund wurde auf der UIST 2023 vorgestellt, der ACM-Konferenz vom 29. Oktober bis 1. November in San Francisco. Sie beschreibt die Darstellung mehrerer Arbeitsbereiche und den Zugang über einen Roboter. 

Eine VR-Oberfläche kann ein räumliches Bild einer Roboterumgebung liefern und bestimmte Aufgaben unterstützen. Kürzere Bearbeitungszeit, bessere Leistung oder eine Bevorzugung von VR hängen jedoch von Aufgabe und Studie ab. Es sind keine allgemeinen Garantien.

Brandon Woodard, damals Doktorand an Brown und Forscher in der Visual Computing Group, erläuterte die unterschiedlichen Raumgrößen von Arbeitsorten. Der Artikel nannte frühere Praktika bei Nvidia (NVDA ), MIT Lincoln Laboratory, dem Jet Propulsion Laboratory der NASA und Intel (INTC ). Der Unterschied etwa zwischen Heimbüro und Labor war das praktische Problem, das VRoxy untersuchte.

Frühere Robotervertreter konnten wichtige nonverbale Signale wiedergeben, benötigten aber häufig ähnliche Geräte und Flächen an beiden Orten. VRoxy untersuchte einen Aufbau mit Headset in einem kleinen Raum und Roboter am größeren Arbeitsplatz.

Das System verknüpft Aufgabenbereiche der größeren Umgebung mit dem begrenzten Nutzerraum. Virtuelle Übergangspunkte erlauben die Auswahl eines anderen Orts; der Roboter fährt anschließend dorthin. Es geht nicht bloß um eine beliebige Vergrößerung jeder kleinen Bewegung. 

Die Liveansicht zeigt die Umgebung für den Kontakt mit Kollegen. Die Navigationsansicht stellt eine vereinfachte dreidimensionale Szene mit virtuellen Übergängen dar. Der Übergang verbirgt die Fahrt des Roboters und soll den Ablauf glätten sowie Bewegungskrankheit begrenzen. Beschwerdefreiheit für alle ist damit nicht garantiert. 

Die automatische Navigation soll die Aufmerksamkeit für manuelles Lenken verringern. Für den Kontakt vor Ort verwendet der Roboter unter anderem eine 360-Grad-Kamera. 

Quest Pro kann Kopfbewegungen, Gesichtsausdrücke und Blickrichtung erfassen; auch Zeigen gehört zur Interaktion. Der Roboter hat einen Bildschirm und einen mechanischen Zeiger. Dieser ist kein Greifarm, der bereits Gegenstände aufnehmen kann. 

VRoxy kann virtuell zwischen Arbeitsbereichen wechseln. Beim Übergang in ein anderes Gebäude wird ein anderer Roboter aktiviert; der erste springt nicht physisch zwischen Gebäuden. Die Demonstration zeigt Möglichkeiten, keine bewiesene Einsatzfähigkeit in jeder Umgebung.

Roboterarme zur Handhabung von Gegenständen und eine selbstständige Raumkartierung waren Zukunftspläne. Im Jahr 2023 nutzte das System Deckenmarkierungen zur Navigation. Der Vergleich mit Roomba beschrieb eine gewünschte spätere Funktion.

Mitautoren waren Hyunju Kim, Ruidong Zhang, Brandon Woodard und François Guimbretière neben dem Hauptautor Mose Sakashita. National Science Foundation und Nakajima Foundation unterstützten die Forschung.

VR und Robotik verbinden

Die Idee der virtuellen Realität hat eine lange Geschichte. Die Verbindung mit Robotik umfasst unterschiedliche Anwendungen und Grenzen und ist kein einheitliches Produktgebiet. 

VR kann zur Roboterfernsteuerung und für Studien über Zusammenarbeit zwischen Mensch und Roboter dienen. Manche Robotersysteme liefern Berührungs- oder Kraftrückmeldungen in VR. Das bedeutet nicht, dass jeder VRoxy-Prototyp diese Funktion besitzt.

Günstigere Headsets und bessere Bewegungserfassung ermöglichten mehr Experimente. Preis und Verfügbarkeit sind aber nicht die einzigen Faktoren. Verbindung, Verzögerung, Sicherheit, Aufgabengestaltung und Bedienbarkeit bleiben wichtig.

Umkonfigurierbare Systeme können an bestimmte Arbeitsanforderungen angepasst werden. Ob VR die Kommunikation mit einem Roboter verbessert, muss für den einzelnen Einsatz bewertet werden.

Forschungsgebiete umfassen Simulationen für medizinische Ausbildung, Übungen zur Robotersteuerung und Erkundung schwer erreichbarer Umgebungen. Eine Simulation kann bestimmte Übungsrisiken verringern, belegt aber nicht automatisch bessere klinische Ergebnisse oder vollständig sicheren Betrieb in der Praxis. 

VRoxy untersuchte, wie Kollegen an unterschiedlichen Orten räumliche Hinweise teilen können. Der Prototyp kann Ideen für Teams mit Abstimmungsbedarf liefern, bewies aber keine breite kommerzielle Eignung.

VR und Robotik können Ausbildung und das Sammeln von Demonstrationen für Roboter unterstützen. Der Mehrwert hängt von Lernziel, Ausrüstung und Bewertung ab. 

Fernunterricht und virtuelle Besichtigungen sind denkbare Anwendungen. Die Beschreibung betrifft Möglichkeiten der Forschung von 2023, keine bereits nachgewiesenen Installationen in allen genannten Bereichen.

Unternehmensbeispiele aus dem Jahr 2023 

Die Beispiele betreffen Robotik, Bildauswertung oder chirurgische Systeme. Das macht die Unternehmen nicht automatisch zu Partnern von VRoxy. Börsenangaben sind historisch, während eingebettete Charts aktualisiert werden können.

1. Cambrian Intelligence

Der Artikel beschrieb maschinelle Intelligenz und Fernsteuerungsschnittstellen bei Cambrian Intelligence . Hand- und Armbewegungen, Bewegungserfassung, VR und Haptik gehörten zur damaligen Beschreibung. Die heutige Website konzentriert sich auf dreidimensionales maschinelles Sehen für industrielle Roboterarme; das ist nicht dasselbe wie VRoxy.

Der Artikel nannte insgesamt 3.793.919 Dollar Finanzierung zum 21. September 2023. Der genaue historische Betrag ist hier nicht unabhängig durch eine primäre Finanzierungsquelle bestätigt. Genannt wurden eine frühe Investition, eine Förderung der damaligen EU-Agentur EASME und ff Venture Capital. Eine nicht spezifizierte Finanzierungsrunde heißt nicht offiziell „unbekannte Serie“.

2. Intel 

Intel entwickelt Halbleiter und Technik, die unter anderem für Bildauswertung und Robotik einsetzbar ist. Das Intel-nahe MiDaS 3.1 schätzt relative Tiefe aus einem einzelnen Bild. Das offizielle Projekt nennt Dezember 2022 als Veröffentlichungszeitpunkt; der technische Bericht erschien im Juli 2023. Relative Tiefe ist nicht automatisch eine genaue Entfernung in Metern.

INTC Preisdiagramm

Der Intel-Kurs von 38,73 Dollar, das Plus von 46,69 Prozent seit Jahresbeginn und die Dividendenrendite von 1,29 Prozent waren eine Momentaufnahme aus 2023. Im dritten Quartal 2023 meldete Intel 14,2 Milliarden Dollar Umsatz, 8 Prozent weniger als ein Jahr zuvor. Der verwässerte Gewinn je Aktie betrug 0,07 Dollar nach GAAP gegenüber bereinigten 0,41 Dollar auf Non-GAAP-Basis. 

Pat Gelsinger, damals Vorstandschef, betonte bei den Zahlen Fortschritte bei Produkten und Fertigungsprozessen, neue Kunden für Chip-Auftragsfertigung und den KI-Schwerpunkt. Das war seine Einschätzung des Quartals, keine Garantie für künftige Ergebnisse.

3. Vicarious Surgical

Vicarious Surgical entwickelte ein chirurgisches Robotersystem. Bessere Ergebnisse und weniger invasive Baucheingriffe waren Entwicklungsziele, keine durch diese Beschreibung bewiesenen klinischen Vorteile. Das System umfasst eine Patienteneinheit mit zwei Roboterarmen, Kameras und eine Konsole mit dreidimensionaler Sicht. Ein VR-Headset war in frühen Vorführungen zu sehen; das Unternehmen weist aber ausdrücklich darauf hin, dass es nicht zur ersten Generation gehört. Außerdem erklärt es, dass das System keine FDA-Marktzulassung hat und in den USA nicht kommerziell verkauft wird. Eine Breakthrough-Device-Einstufung ist keine Marktzulassung.

RBOT Preisdiagramm

Zum 30. Juni 2023 verfügte Vicarious Surgical über etwa 82,8 Millionen Dollar liquide Mittel und kurzfristige Anlagen; das ist kein Quartalsumsatz. Im Juli 2023 erwartete das Unternehmen einen ersten Eingriff wegen Bauchwandbruchs an einem Patienten Mitte 2024. Das war ein damaliger Plan, kein Nachweis eines ausgeführten oder zugelassenen Eingriffs. Eine vierte Vereinbarung mit einem US-Krankenhausverbund bedeutete, dass die Partner mehr als 250 Krankenhäuser vertraten, nicht 250 einzelne Verbundverträge oder installierte Roboter. Der Kurs von 0,4263 Dollar, KGV −0,68 und Gewinn je Aktie −0,63 waren historische Börsenangaben, nicht der Gewinn je Aktie im zweiten Quartal oder aktuelle Daten. Spätere Aktienmaßnahmen begrenzen direkte Kursvergleiche. Ein negatives KGV zeigt keine Profitabilität.

Abschließende Betrachtung

VR wird für Ausbildung, Visualisierung und Zusammenarbeit untersucht und genutzt. Der Einsatz unterscheidet sich stark nach Branche. Eine Prototypdemonstration belegt keine breite Einführung in allen genannten Bereichen. 

Die Verbindung mit Robotik bietet Möglichkeiten, erfordert aber Finanzierung, technische Entwicklung, Sicherheitsbewertung und teils Genehmigungen. Erkundung und Gesundheitswesen können profitieren, ohne dass konkrete Ergebnisse bereits feststehen.

Die im Jahr 2023 genannten fünf bis zehn Jahre bezogen sich auf etwa 2028–2033. Das war eine Erwartung, kein garantierter Zeitplan und keine neue Frist ab heute.

Zur Übersicht über Aktien im Bereich erweiterte und virtuelle Realität.