Barrieren Durchbrechen: Wie VR‑Robotik die Zukunft nahtloser professioneller Zusammenarbeit gestaltet

Die virtuelle Realität (VR) Branche wächst schnell, wobei fast einer von fünf US‑Verbrauchern im Jahr 2020 VR nutzte. Während derzeit die Gaming‑ und Unterhaltungssektoren die größten Treiber des globalen VR‑Wachstums sind, findet diese immersive Technologie auch ihren Weg in andere Lebensbereiche.

Forscher der Brown University und der Cornell University arbeiten daran, den Einsatz von VR in professionellen Umgebungen zu erweitern. Dabei handelt es sich um einen Telepräsenz‑Roboter, der automatisch und in Echtzeit auf die Bewegungen und Gesten eines entfernten Benutzers in virtueller Realität reagiert.

Dafür entwickelte das Forschungsteam das Robotersystem namens VRoxy, einen steuerungsfreien, VR‑gesteuerten Robotervollstrecker, der das Potenzial hat, praktische Zusammenarbeit zwischen Personen, die remote in einem kleinen Raum arbeiten, wie einem Büro, mit Teamkollegen, die in einem viel größeren Raum arbeiten, zu ermöglichen.

“Der große Vorteil der virtuellen Realität ist, dass wir alle Arten von Fortbewegungstechniken nutzen können, die Menschen in VR‑Spielen verwenden, wie das sofortige Bewegen von einer Position zur anderen.”

– Mose Sakashita, Ph.D.-Student der Informationswissenschaft an der Cornell.

Er fügte hinzu:

“Diese Funktion ermöglicht es entfernten Benutzern, physisch nur einen sehr begrenzten Raum einzunehmen, aber mit Teamkollegen in einer viel größeren entfernten Umgebung zusammenzuarbeiten.”

So entwickelte das Team VRoxy, basierend auf einem ähnlichen Roboter von Cornell namens ReMotion, der physischen Raum im Namen eines entfernten Benutzers einnimmt und die Bewegungen des Benutzers in Echtzeit automatisch spiegelt, bevor er wichtige Körpersprache übermittelt, die in herkömmlichen virtuellen Umgebungen sonst verloren geht. Die Funktionalität von ReMotion war auf Szenarien beschränkt, in denen beide Benutzer – sowohl der lokale als auch der entfernte – identische Hardware‑Setups und vergleichbare Arbeitsbereiche hatten. VRoxy hat diese Einschränkung jedoch überwunden.

Was das Softwareprogramm VRoxy tut, ist, dass es einem Benutzer an einem entfernten Standort ermöglicht, ein VR‑Headset aufzusetzen und virtuell in einen Raum transportiert zu werden, der ein Büro, Labor oder jede andere Umgebung sein kann, in der seine Kolleginnen und Kollegen physisch arbeiten. Am physischen Standort wird der entfernte Benutzer dann durch einen Roboter repräsentiert, der es ihm erlaubt, sich durch diese Umgebung mit natürlichen Bewegungen, wie Gehen, zu bewegen. Darüber hinaus kann der entfernte Benutzer mit Kolleginnen und Kollegen durch Gesten wie Zeigen auf Objekte, Kopfbewegungen wie Nicken und sogar Gesichtsausdrücke über den Roboter‑Proxy zusammenarbeiten.

Obwohl sich die Software derzeit noch in einem frühen Stadium befindet, sagen die Forscher, dass sie bereits das Potenzial hat, einige der größten Herausforderungen zu bewältigen, die beim Einsatz von Roboter‑Proxys und erweiterter Realität (AR)-Software für die Fernzusammenarbeit auftreten.

VRoxy: Revolutioniert die Fernzusammenarbeit 

Die Arbeit “VRoxy: Flächendeckende Zusammenarbeit von einem Büro aus mittels eines VR‑gesteuerten Robotervollstreckers” wurde auf dem diesjährigen Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST) vom 29. Oktober bis 1. November in San Francisco vorgestellt. Das Forschungspapier zeigt, wie VRoxy die Abbildung mehrerer physischer Standorte auf einen einheitlichen virtuellen Raum ermöglichen kann. 

Virtuelle Realität bietet die Möglichkeit, intuitive Schnittstellen zu schaffen, indem Nutzer in eine 3D‑Umgebung eintauchen, in der sie Roboter in gemeinsamen oder entfernten Umgebungen sehen und mit ihnen interagieren können, was die Interaktion erleichtert. Es wurde gezeigt, dass VR‑Schnittstellen die Aufgabenerledigungszeit verkürzen, die Leistung der Bediener steigern und im Allgemeinen traditionellen Schnittstellen vorzuziehen sind. Obwohl bereits ein erheblicher Teil grundlegender Arbeit an VR‑Roboter‑Schnittstellen geleistet wurde, ist noch viel Entwicklung nötig, um VR‑Teleoperations‑Schnittstellen zu erstellen.

“Im Moment erfordern bewegungsgesteuerte Roboter für die Zusammenarbeit, dass der physische Standort den gleichen Raum wie die entfernte Umgebung hat, was jedoch häufig nicht der Fall ist,” sagte Brandon Woodard, Ph.D.-Student an der Brown University, der zudem als Graduate Researcher für die Visual Computing Group tätig ist und zuvor Praktika bei Nvidia (NVDA ), dem MIT Lincoln Laboratory, dem Jet Propulsion Laboratory der NASA und Intel (INTC ) absolvierte. Er wies weiter darauf hin, dass Räume unterschiedliche Abmessungen haben, was selbst bei Meetings über Zoom, das Video‑Telefonie‑Programm, leicht erkennbar ist.

Laut dem Papier hat aktuelle Forschung zu Roboter‑Proxys gezeigt, dass man viele nonverbale Hinweise, die für die Zusammenarbeit am selben Ort wichtig sind, automatisch reproduzieren kann, jedoch oft ein symmetrisches Hardware‑Setup an jedem Standort erfordert. Als Lösung stellte das Team VRoxy vor, ein System, das den Zugriff auf entfernte Räume über einen Roboter ermöglicht, wobei ein VR‑Headset in einem viel kleineren Raum, wie einem persönlichen Büro, verwendet wird. Die Forscher betonten, dass die automatische Echtzeit‑Reaktionsfähigkeit der Software für sowohl entfernte als auch lokale Teammitglieder entscheidend ist.

VRoxy überträgt alle kleinen Bewegungen des entfernten Benutzers im VR‑Raum auf die größeren Bewegungen des Roboters im physischen Raum, sodass der Benutzer große physische Räume leicht navigieren kann. Auf diese Weise kann ein VR‑Benutzer über VRoxy schnell in einer niedrig‑aufgelösten Darstellung des entfernten Raums navigieren. 

Beim Aufsetzen eines VR‑Headsets erhält ein VRoxy‑Benutzer Zugriff auf zwei Ansichtmodi. Einer ist der Live‑Modus, der ein immersives Bild des Kollaborationsraums in Echtzeit für Interaktionen mit lokalen Mitwirkenden anzeigt. Der andere ist ein Navigationsmodus, der gerenderte Pfade des Raums zeigt und es entfernten Benutzern ermöglicht, schneller und flüssiger zu „teleportieren“ dorthin, wo sie hinmöchten, während er die Motion‑Sickness begrenzt, sagten die Forscher. 

Außerdem bedeutet die Automatisierung des Systems, dass Teammitglieder sich einfach auf die Zusammenarbeit konzentrieren können, anstatt den Roboter manuell zu steuern, wobei dieser den Feed einer 360‑Kamera nutzt, um Echtzeit‑Interaktionen zu unterstützen. 

Das System erleichtert zudem Interaktionsmodalitäten, indem es die Mikrobewegungen rund um gemeinsam genutzte Räume auf dem Proxy rendert. Diese mehreren Modalitäten nonverbaler Hinweise, wie Kopfrotation, Gesichtsausdrücke, Zeigegesten und Blickrichtung, wurden vom VR‑Benutzer über das Quest Pro erfasst und anschließend durch einen Telepräsenz‑Roboter am entfernten Standort dargestellt. 

Mit VRoxy kann ein Mitarbeitender aus einem kleineren physischen Raum in einer weiten, entfernten Umgebung navigieren und zusammenarbeiten sowie sofort zwischen getrennten Arbeitsbereichen, die physisch auseinander liegen, wechseln, so die Forschung. Dies zeigt, dass VRoxy sowohl stationäre als auch mobile Roboter‑Proxys mit einem Consumer‑Headset nutzen kann.

In zukünftigen Arbeiten plant Sakashita, den Hauptautor des Papiers, VRoxy mit Roboterarmen auszustatten, um entfernten Benutzern die Interaktion mit physischen Objekten im Live‑Raum über den Roboter‑Proxy zu ermöglichen. Außerdem sieht er vor, dass VRoxy eine eigene Kartierung eines Raums übernimmt, ähnlich dem Roomba‑Staubsauger, der verschiedene Sensoren nutzt, um zu navigieren und sich seiner Umgebung anzupassen. Derzeit verlässt sich VRoxy auf Decken‑Marker, um einen Raum zu navigieren, aber die Unterstützung einer Echtzeit‑Kartierung könnte seinen Einsatz in einem Klassenzimmer ermöglichen, sagte Sakashita.

Hyunju Kim und Ruidong Zhang, beide Doktoranden im Bereich Informationswissenschaft, zusammen mit François Guimbretière, Professor für Informationswissenschaft an der Cornell Bowers CIS, und Woodard, sind Mitautoren des Forschungspapiers, das von der Nakajima Foundation und der National Science Foundation unterstützt wird.

Die entfesselte Synergie: Zusammenarbeit von VR und Robotik

Das Konzept der virtuellen Realität existiert bereits seit langem, seit den 1960er‑Jahren. Dennoch war seine Nutzung im Bereich der Robotik eher begrenzt. Dies trotz der Tatsache, dass es eine große Synergie zwischen VR und Robotik gibt. 

VR kann in der Robotik eingesetzt werden, um immersive Roboter‑Teleoperation zu ermöglichen und Studien zur Mensch‑Roboter‑Interaktion und -Zusammenarbeit durchzuführen, während Roboter dazu beitragen, immersivere VR‑Erlebnisse zu bieten, indem sie haptisches Feedback an die Nutzer liefern.

Der Mangel an VR‑Integration im Bereich der Robotik wurde größtenteils durch das Fehlen von Verfügbarkeit und Erschwinglichkeit kommerzieller VR‑Geräte verursacht, die im letzten Jahrzehnt erhebliche Fortschritte gemacht haben. Damit einhergehend hat die Kombination der Kräfte von VR und Robotik für die Mensch‑Roboter‑Interaktion und -Zusammenarbeit zugenommen.

Mit wachsendem Interesse an mehr Automatisierung durch rekonfigurierbare Systeme, die je nach Bedarf angepasst werden können, beobachten wir eine zunehmende Nutzung von virtueller Realität in der Robotik, um die Kommunikation zwischen Menschen und Maschinen erfolgreicher zu gestalten.

Diese beiden Technologien werden derzeit in zahlreichen Anwendungen eingesetzt, um die Leistung von Robotern zu steigern, während ein Mensch die Kontrolle behält. Beispielsweise ermöglicht VR‑Training in der medizinischen Robotik Ärzten und Chirurgen, in einer nahezu realen Situation zu trainieren, ohne mit echten Patienten arbeiten zu müssen. VR kann auch verwendet werden, um Soldaten im Umgang mit militärischen Drohnen und Robotern zu schulen, ohne das Risiko, teure und unersetzliche Ausrüstung zu beschädigen. Forschung zu VR und Robotik wird zudem genutzt, um die Weltraumerkundung in komplexen Umgebungen zu optimieren. 

Durch die Nutzung von VR und Robotik kann VRoxy auch bedeutende Fortschritte in der Fernzusammenarbeit und in professionellen Umgebungen ermöglichen. Indem es Nutzern an unterschiedlichen physischen Standorten erlaubt, nahtlos in gemeinsamen Räumen zusammenzuarbeiten, kann diese Software für Remote‑Teams, die an Projekten mit enger Koordination und Kommunikation arbeiten, äußerst wertvoll sein.

VR und Robotik sind für sich genommen nützliche Technologien zum Training, aber ihre Kombination ermöglicht es, die Ausbildung in allen Bereichen intuitiver und immersiver zu gestalten. Sie helfen sogar dabei, intelligentere Roboter selbst zu trainieren. 

Zusätzlich zur Nutzung für Trainingszwecke und zur Bereitstellung von Fernunterstützung kann VRoxy auch in Situationen eingesetzt werden, in denen physischer Raum begrenzt ist, sowie in der Fernbildung, indem es Studierenden immersive Erlebnisse in physischen Umgebungen bietet. Es kann zudem virtuelle Besichtigungen ermöglichen, sodass Interessengruppen physische Räume aus der Ferne erkunden und fundierte Entscheidungen treffen können.

Unternehmen, die die Kraft von VR und Robotik nutzen 

Angesichts des Potenzials der Kombination von VR und Robotik forschen mehrere Unternehmen an der Nutzung dieser Technologien, also werfen wir einen Blick auf einige der prominentesten:

1. Cambrian Intelligence

Sie konzentriert sich auf die Entwicklung und Anwendung von Algorithmen für maschinelle Intelligenz. Cambrian Intelligence entwickelt Teleoperations‑Schnittstellen, um Roboter aus der Ferne intuitiv mit Hand‑ und Armbewegungen zu steuern, wobei Gaming‑Technologien wie virtuelle Realität, Tracking und Haptik zum Einsatz kommen.

Stand 21. September 2023 hat Cambrian Intelligence insgesamt 3.793.919 $ in verschiedenen Finanzierungsrunden gesammelt, darunter eine bedeutende unbekannte Serie, eine Pre‑Seed‑Investition, ein Grant von der EASME – EU Executive Agency for SMEs, und ein nicht offengelegter Betrag von ff Venture Capital.

2. Intel 

Als einer der weltweit größten Halbleiterchip‑Hersteller ist Intel ein Schlüsselakteur in der Entwicklung von Technologien im Zusammenhang mit Robotik und VR und liefert Technologien für beide Bereiche. Anfang dieses Jahres stellte Intel MiDaS 3.1 für Computer Vision als Lösung für das Problem der Tiefenschätzung bei der Erstellung einer breiten Palette von Anwendungen in Robotik, AR und VR vor.

INTC Preisdiagramm

Derzeit werden die Aktien von Intel (INTC) zu 38,73 $ gehandelt, ein Anstieg von 46,69 % in diesem Jahr, und das Unternehmen zahlt eine Dividendenrendite von 1,29 %. Für das 3. Quartal 2023 meldete es einen Umsatz von 14,2 Mrd. $, ein Rückgang von 8 % im Jahresvergleich (YoY) und einen Gewinn pro Aktie (EPS) von 0,07 $. 

“Wir haben ein herausragendes drittes Quartal geliefert, das durch Fortschritte in unseren Prozessen und Produkt‑Roadmaps, Vereinbarungen mit neuen Foundry‑Kunden und Schwung bei der Verbreitung von KI überall untermauert wird,” sagte Intel‑CEO Pat Gelsinger.

3. Vicarious Surgical

Dieses Unternehmen wird von einem Team aus Technologen und Ärzten geleitet, das die neuesten Innovationen in Robotik und virtueller Realität auf chirurgische Verfahren anwendet. Um Patienten bessere Ergebnisse und weniger Risiko oder Invasivität bei Bauchoperationen zu bieten, nutzt Vicarious Surgical einen Patienten‑Wagen mit zwei Roboterarmen, die kamera‑unterstützte Sichtbarkeit und außergewöhnliche Mobilität bieten, zusammen mit der Chirurgen‑Konsole, die den Roboter über einen 3D‑Bildschirm, ein VR‑Headset und die proprietäre Software steuert.

RBOT Preisdiagramm

Im zweiten Quartal 2023 meldete Vicarious Surgical 82,8 Mio. $ an Barmitteln, Zahlungsmitteln und kurzfristigen Investitionen. In diesem Zeitraum erhielt das Unternehmen Klarheit über den klinischen und regulatorischen Weg mit der Erwartung, das erste ventrale Hernien‑Verfahren bei einem Patienten Mitte 2024 abzuschließen. Es unterzeichnete zudem eine vierte größere Vereinbarung mit einem US‑Krankenhaussystem, wodurch die Gesamtzahl der Krankenhauspartner auf über 250 steigt. Gleichzeitig werden die Aktien von Vicarious Surgical (RBOT) derzeit zu 0,4263 $ gehandelt, mit einem KGV (TTM) von -0,68 und einem EPS (TTM) von -0,63.

Abschließende Gedanken

Obwohl es sich um eine relativ junge Technologie handelt, ist die Einführung von virtueller Realität in Unternehmen, Organisationen und sogar Regierungen weit verbreitet, da ihr Potenzial mit jeder neuen Entwicklung klarer wird. VR gewinnt nicht nur stark im Gaming, Sport, Gesundheitswesen, Bildung, Immobilien, Fertigung, Marketing, Automobil und Verteidigung, sondern verändert auch die Robotikindustrie in bedeutender Weise. 

Die Kombination von VR und Robotik hat das Potenzial, Leben zu retten und die Grenzen der Erkundung zu erweitern. Obwohl sie sich noch in der Entwicklungsphase befindet, beeinflussen Faktoren wie Finanzierung, technologische Herausforderungen und regulatorische Überlegungen dieses Wachstum, und wir sehen ständig Wissenschaftler und Ingenieure, die Durchbrüche in diesen Technologien erzielen.

Angesichts des Fortschritts in VR und Robotik können wir erwarten, dass Systeme wie VRoxy in den nächsten 5–10 Jahren in spezifischen Branchen Anwendung finden, wobei eine breitere Adoption mehr Zeit in Anspruch nehmen wird, während die Technologie reift und zugänglicher wird.

Klicken Sie hier für die Liste der Top‑10-Aktien für Augmented Reality (AR) und Virtual Reality (VR).