Die Verbindung von virtueller Realität und Robotik

Virtuelle Realität (VR) und Robotik können wiederkehrende Arbeit reduzieren und den Umgang mit digitalen und physischen Umgebungen verändern. Der Artikel untersucht Möglichkeiten und Grenzen anhand von Forschung und Erwartungen aus dem Jahr 2023.

Headsets wie Meta Quest und VR-Spiele auf Plattformen wie Steam machten die Technologie bekannter. Im Mai 2023 prognostizierte Market Research Future für den Robotikmarkt eine mögliche Größe von 214,6 Milliarden US-Dollar im Jahr 2030. Gemeint war 2030, nicht 2028. Es handelt sich um die Prognose dieser Studie, nicht um eine bereits erreichte Marktgröße oder garantierte Entwicklung.

In der physischen Welt wird Robotik in Industrie und Gewerbe eingesetzt, unter anderem in folgenden Branchen:

• Automobilindustrie
• Chemische Industrie
• Elektrotechnik und Elektronik
• Lebensmittelindustrie
• Metallindustrie und weitere Branchen

Serviceroboter haben auch Anwendungen in:

• Landwirtschaft
• Medizin
• Unterhaltung
• Haushaltsanwendungen

VR und Robotik lassen sich kombinieren. Eine virtuelle Benutzeroberfläche kann die Steuerung eines Roboters aus der Ferne ermöglichen. Die Funktionen hängen vom konkreten System und seiner Umgebung ab.

VRoxy: VR und Robotik für die Zusammenarbeit aus der Ferne

Forschungsprototypen zeigen, wie ein Roboter eine Person an einem anderen Ort vertreten und deren Körpersprache übertragen kann.

VRoxy ist ein Beispiel für berufliche Zusammenarbeit aus der Ferne. Im Jahr 2023 war es ein Forschungsprototyp, kein allgemein verfügbares kommerzielles Produkt.

Was ist VRoxy?

Das System wurde in der Forschungsarbeit „VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy“ auf der ACM-Konferenz UIST vorgestellt, die vom 29. Oktober bis 1. November 2023 in San Francisco stattfand.

Mit einer VR-Brille kann eine Person über einen Roboter an einem anderen Ort teilnehmen. VRoxy verbindet einen kleinen Nutzerraum durch virtuelle Navigation und die Zuordnung von Bewegungen mit größeren Arbeitsbereichen. Das bedeutet nicht, dass jede kleine Bewegung stets um einen festen Faktor vergrößert wird.

So funktioniert VRoxy

Der Prototyp bietet eine Liveansicht und eine Navigationsansicht.

Die Liveansicht überträgt 360-Grad-Video für Gespräche und Interaktionen mit den Kollegen beim Roboter.

Die Navigationsansicht verwendet eine vereinfachte dreidimensionale Darstellung. Die Person ändert ihre virtuelle Position, und der Roboter fährt physisch zum entsprechenden Arbeitsbereich.

Die Person muss den Roboter nicht ständig mit einem Handcontroller lenken. Das System setzt ihre Handlungen in Navigationsbefehle um. Automatisches Fahren bedeutet nicht, dass die Person keine Kontrolle hat.

Der Prototyp nutzt Trackingfunktionen der Meta Quest Pro, um nonverbale Signale zu übertragen, darunter:

• Kopfdrehungen
• Gesichtsausdrücke
• Zeigegesten
• Blickrichtung über die Darstellung der Person am Roboter

Was VRoxy für die Zusammenarbeit ermöglicht

Der Nutzerraum muss nicht genauso groß sein wie der entfernte Arbeitsbereich. Ein virtueller Positionswechsel teleportiert den Roboter nicht: Er muss weiterhin fahren. Für die Teilnahme in einem anderen Gebäude wird dort ein weiterer geeigneter Roboter benötigt.

Künftige Forschung zu VRoxy

Roboterarme zum Handhaben von Gegenständen und automatische Kartierung waren 2023 geplante weitere Arbeiten. Der mechanische Zeiger des Prototyps war kein Greifarm. Für die Navigation wurde ein vorbereiteter Raum mit Markierungen an der Decke verwendet.

Eine andere Forschungsarbeit der Universität Tsukuba in Japan untersuchte Kälteempfindungen bei einer im Mittel nahezu konstanten Hauttemperatur. Das ist ein eigenständiges sensorisches Experiment, keine Funktion von VRoxy.

Lesen Sie mehr über VRoxy und die Zusammenarbeit aus der Ferne. 

Kälteempfindungen: Forschung der Universität Tsukuba

Die Universitätsmitteilung vom Oktober 2023 beschreibt eine berührungslose Methode aus kalter Luft und Licht. Sie erzeugt anhaltende Kälteempfindungen, während die Hauttemperatur im Mittel nahezu konstant bleibt.

So wird Restwärme begrenzt

Kalte Luft bewirkt eine wahrnehmbare Temperatursenkung; sichtbares Licht eine kleine Erwärmung, die unbemerkt bleiben kann. Der schnelle Wechsel begrenzt die angesammelte Temperaturänderung. Es gibt also reale Wärmeübertragung und kleine Schwankungen, keine Empfindung ohne physikalischen Reiz.

Wiederholte Einwirkung kann die wahrgenommene Stärke eines Temperaturreizes verringern. Die Forschenden nutzten die Empfindlichkeit für schnelle Änderungen, um Kälteempfindungen bei geringer Restwärme aufrechtzuerhalten.

Mögliche künftige VR-Anwendungen

Die Studie untersuchte die Methode mit 15 Teilnehmenden. Unter bestimmten Versuchsbedingungen empfand die Mehrheit anhaltende Kälte ohne Wärmegefühl. Das belegt weder dieselbe Wirkung bei allen Menschen noch unbegrenzte Nutzungsdauer.

Solche Schnittstellen könnten das Gefühl von Anwesenheit in virtuellen Umgebungen verstärken. Ein Laborversuch ist noch kein kommerzielles VR- oder Robotersystem.

Temperaturerlebnisse im Metaversum sind eine denkbare Anwendung. Der praktische Einsatz erfordert weitere Prüfungen von Komfort, Sicherheit und technischer Integration.

Die Beispiele zeigen unterschiedliche Forschungsrichtungen. VR, Robotik und haptische Schnittstellen können sich ergänzen, verfügen aber nicht automatisch über dieselben Funktionen oder unbegrenzte Fähigkeiten.

Mögliche Anwendungsfelder sind:

• Medizin
• Bildung
• Training
• Design
• Notfallmanagement und weitere Bereiche

Anwendungen und Grenzen

Medizinisches Training und Fernsteuerung

VR wird in medizinischer Ausbildung, Schmerzbehandlung und Rehabilitation genutzt oder untersucht. Auch Robotik hat medizinische Anwendungen. Der Einsatz einer Technologie erfordert nicht immer die andere.

Virtuelle Operationen mit haptischen Controllern bieten Übungsmöglichkeiten. Sie können praktische Ausbildung ergänzen, ersetzen diese aber nicht vollständig und garantieren keine klinische Kompetenz.

Die Fernsteuerung von Roboterarmen ist ein eigenes Forschungsfeld. VRoxy demonstrierte 2023 keine Telechirurgie und war kein zugelassenes Operationssystem. Eingriffe an Patienten erfordern spezielle Geräte, zuverlässige Kommunikation, klinische Nachweise und notwendige Zulassungen.

Lesen Sie den Überblick über fünf Aktien mit Bezug zu AR und VR im Gesundheitswesen.

Komplexe Trainingsumgebungen

Training unter realen Bedingungen kann teuer oder riskant sein. Simulationen ermöglichen die kontrollierte Wiederholung bestimmter Situationen.

Militär- und Flugsimulatoren können den Einsatz teurer Geräte und die Gefährdung von Personen reduzieren. Rehabilitation etwa nach einem Schlaganfall ist eine Behandlung mit eigenen klinischen Anforderungen und nicht mit der Ausbildung von Bedienpersonal gleichzusetzen.

VR kann ein Szenario darstellen, während geeignete Roboter oder haptische Geräte Bewegung und physische Rückmeldung hinzufügen. Genauigkeit und Wirksamkeit müssen für jede Anwendung geprüft werden.

Bildung und Training

Unterricht in Naturwissenschaften, Technik, Architektur und Medizin kann teure Materialien, Instrumente und Einrichtungen erfordern. Die verfügbaren Ressourcen unterscheiden sich zwischen Institutionen.

Begrenzter Zugang zu Laboren und Maschinen kann praktisches Lernen erschweren, besonders an Einrichtungen mit wenig finanziellen Mitteln.

VR kann Situationen simulieren; fernbediente Roboter können den Zugang zu realen Geräten ermöglichen. Geräte, Wartung und Verbindung werden am entfernten Standort weiterhin benötigt.

Design und Prototypenentwicklung

Virtuelle Modelle und Roboterschnittstellen können die Zusammenarbeit bei Design und Prototypenentwicklung unterstützen. Manche Ideen lassen sich vor dem Bau eines physischen Modells erproben.

Mehrere Perspektiven und digitale Nutzerfiguren können die Zusammenarbeit erleichtern. Physische und haptische Interaktion hängt von der Hardware ab und bildet nicht automatisch alle Eigenschaften realer Gegenstände ab.

Übungen für den Notfalleinsatz

Für die Ausbildung ist kein echter Notfall erforderlich: Übungen und Simulationen werden bereits eingesetzt. VR und geeignete Roboter können Vielfalt und kontrollierte Schwierigkeit hinzufügen, ohne alle praktischen Übungen zu ersetzen.

Große Technologieunternehmen und immersive Anwendungen

Die folgenden Unternehmen hatten 2023 Aktivitäten oder Pläne für VR, AR oder Mixed Reality. Das bedeutet nicht, dass alle Robotersysteme wie VRoxy entwickelten.

1. Apple

Für Apple (AAPL ) verwies die ursprüngliche Analyse auf Analystenprognosen von über 20 Milliarden US-Dollar jährlichem AR/VR-Umsatz im Jahr 2030, mit einem optimistischen Szenario von 70 Milliarden. Das waren weder realisierte Umsätze noch eine Unternehmensprognose. Auch die Produktionszahlen aus der Lieferkette für Apples AR/VR-Headsets von zunächst 300.000–500.000 Geräten, 850.000 im Geschäftsjahr 2024 und 3,4 Millionen im Geschäftsjahr 2026 waren Schätzungen. Apples Mitteilung vom 5. Juni 2023 sah den US-Verkaufsstart von Vision Pro für Anfang 2024 vor, nicht für das Dezemberquartal 2023.

Die historische Marktaufnahme der Analyse aus dem Jahr 2023 nannte einen Apple-Kurs von 182,45 US-Dollar, ein durchschnittliches tägliches Handelsvolumen von über 61 Millionen Aktien und eine Marktkapitalisierung von etwa 2,84 Billionen US-Dollar. Dies sind keine aktuellen Marktdaten.

Dividenden und Gewinn je Aktie garantieren keine künftige Rendite. Apples Marktkapitalisierung belegt auch nicht den kommerziellen Erfolg von VR-Produkten.

2. Microsoft

Microsoft (MSFT ) entwickelte die HoloLens für Mixed Reality. Die ursprüngliche Analyse zitierte eine externe Schätzung von rund 300.000 verkauften Geräten bis Oktober 2022, keine aktuelle, vom Unternehmen bestätigte Gesamtzahl. Die IVAS-Vereinbarung mit der US-Armee betraf spezielle militärische Systeme auf Basis der HoloLens-Technologie. Der mögliche Wert lag bei bis zu 21,88 Milliarden US-Dollar über fünf Jahre mit einer Verlängerungsoption um fünf weitere Jahre, nicht bei sofort realisierten Umsätzen.

Die historische Marktaufnahme von 2023 nannte für Microsoft einen Kurs von 361,53 US-Dollar, einen Rückgang um 1,67 US-Dollar oder 0,46%, eine Marktkapitalisierung von 2,69 Billionen US-Dollar und eine damalige 52-Wochen-Spanne von 219,35–366,78 US-Dollar. Die Zahlen sind nicht aktuell; die Spanne garantiert weder Sicherheit noch Rendite.

3. Meta

Meta hatte mit Quest 2 eine wichtige Marktposition. Die ursprüngliche Analyse nannte eine externe Schätzung von 17 Millionen verkauften Headsets, keine aktuelle, vom Unternehmen bestätigte Gesamtzahl. Meta Quest Pro startete im Oktober 2022 in den USA zu 1.499,99 US-Dollar; dies ist kein aktueller Preis. Quest 3 kam am 10. Oktober 2023 ab 499,99 US-Dollar für die Version mit 128 GB auf den Markt.

Die historische Marktaufnahme von 2023 nannte für Meta eine 52-Wochen-Spanne von 100,74–330,54 US-Dollar, eine Marktkapitalisierung von etwa 821,045 Milliarden US-Dollar und 2,57 Milliarden Aktien. Das sind keine aktuellen Daten.

Dieselbe historische Aufnahme nannte ein durchschnittliches Zehntagesvolumen von 24,35 Millionen Aktien, ein Beta von 1,21 und einen Kursanstieg von 166,05% seit Anfang 2023 bis zum Messzeitpunkt. Beta hängt von der Berechnungsmethode ab; frühere Renditen garantieren keine zukünftigen.

4. Samsung

Im Jahr 2023 kursierten Berichte über ein künftiges Samsung-Headset für Mixed Reality. Vier Trackingkameras, Pancake-Linsen, zwei RGB-Kameras, Tiefensensor, Augen- und Handtracking, OLED-Mikrodisplays und Exynos 2200 waren damals Gerüchte über einen Prototyp, keine bestätigten Spezifikationen eines kommerziellen Produkts oder Operationsroboters.

Die ursprüngliche Analyse nannte Umsatzprognosen von 261.070 Milliarden Won für 2023 und 300.279 Milliarden für 2024 sowie erwartete Nettogewinne von 10.900 beziehungsweise 29.051 Milliarden Won. Das waren damalige Schätzungen, keine endgültigen Ergebnisse. Die Nettoliquidität ist eine Bilanzgröße, kein Cashflow. Auch die genannte Dividendenrendite von über 2% war historisch und keine Wachstumsgarantie.

Immersive Schnittstellen können neue Anwendungen eröffnen. Kommerzieller Erfolg hängt unter anderem von Kosten, Komfort, Software und den tatsächlichen Bedürfnissen der Nutzer ab.

Lesen Sie den Überblick über zehn Aktien mit Bezug zu AR und VR.

Ausblick auf VR und Robotik

VR kann das Gefühl von Anwesenheit stärken, während Robotik physische Interaktion aus der Ferne ermöglicht. Besserer Zugang zu Geräten und wiederholbare Übungen sind mögliche Vorteile. Virtuelle Teleportation verändert den Blickpunkt oder die Darstellung der Person, transportiert aber keinen physischen Gegenstand augenblicklich.

Weitere Entwicklung erfordert Forschung, Finanzierung und technische Bewertung. KI und maschinelles Lernen können bestimmte Funktionen unterstützen, garantieren aber keine wachsenden Investitionen, unbegrenzte Genauigkeit oder allgemeine Verbreitung.