VRoxy : recherche sur la collaboration avec VR et robotique en 2023

Cet article de 2023 traite de recherches sur la réalité virtuelle (VR) et la robotique. Dans une enquête américaine de 2020, près d’un adulte sur cinq avait essayé la VR ou possédait un casque. Cela ne signifiait pas qu’un cinquième l’utilisait régulièrement et ce n’est pas un chiffre mondial actuel. Outre les jeux et les loisirs, des usages professionnels sont étudiés.

Des chercheurs de Brown University et de Cornell University ont développé VRoxy, un prototype de recherche pour être présent à distance au moyen d’un robot. Le système réagit aux mouvements et gestes d’une personne équipée d’un casque VR.

L’objectif était de faire collaborer une personne dans une petite pièce avec des collègues dans un espace plus grand. Le robot la représente sur le lieu de travail. Ce n’était pas un service commercial généralement disponible. L’absence de manette ne signifie pas absence de commande.

Le chercheur Mose Sakashita expliquait que la VR peut utiliser des techniques de déplacement des jeux, comme un passage virtuel immédiat vers un autre point.

Sakashita était alors doctorant en sciences de l’information à Cornell.

Son explication était la suivante :

Une personne peut rester physiquement dans un petit espace tout en collaborant avec des collègues dans un environnement plus vaste. Le déplacement virtuel n’est pas une téléportation physique du robot.

VRoxy poursuivait le travail de ReMotion, de Cornell, qui exigeait des équipements correspondants et des espaces de taille similaire aux deux extrémités. VRoxy reliait un petit espace utilisateur à des zones de travail plus grandes et transmettait le langage corporel au moyen d’un robot.

La personne voit le lieu distant dans son casque et y est représentée par le robot. Des déplacements dans une zone de travail, des gestes pour montrer, des hochements de tête et des expressions peuvent être transmis. Tous restent sur leurs lieux physiques respectifs.

En 2023, les chercheurs présentaient une première démonstration de collaboration à distance. Le travail rejoint les questions liées aux représentants robotiques et à la réalité augmentée (AR), mais VR et AR sont des technologies différentes. La commande décrite utilise la VR.

VRoxy : collaboration à distance 

L’étude porte le titreVRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxyet a été présentée à UIST 2023, la conférence ACM organisée du 29 octobre au 1er novembre à San Francisco. Elle décrit la représentation de plusieurs zones de travail et leur accès au moyen d’un robot. 

Une interface VR peut donner une vue spatiale de l’environnement du robot et soutenir certaines tâches. Une durée réduite, de meilleures performances ou une préférence pour la VR dépendent cependant de la tâche et de l’étude. Ce ne sont pas des garanties générales.

Brandon Woodard, alors doctorant à Brown et chercheur dans le Visual Computing Group, expliquait que les espaces de travail ont des tailles différentes. L’article citait ses anciens stages chez Nvidia (NVDA ), au MIT Lincoln Laboratory, au Jet Propulsion Laboratory de la NASA et chez Intel (INTC ). La différence entre, par exemple, un bureau à domicile et un laboratoire était le problème pratique étudié par VRoxy.

Les précédents représentants robotiques pouvaient reproduire des signaux non verbaux importants, mais nécessitaient souvent des équipements et des surfaces semblables aux deux endroits. VRoxy étudiait une configuration avec casque dans une petite pièce et robot dans un lieu plus grand.

Le système relie les zones de travail du grand environnement à l’espace limité de l’utilisateur. Des points de transition virtuels permettent de choisir un autre endroit ; le robot s’y rend ensuite. Il ne s’agit pas simplement d’amplifier arbitrairement chaque petit mouvement. 

La vue en direct montre l’environnement pour les échanges avec les collègues. La vue de navigation présente une scène tridimensionnelle simplifiée et des passages virtuels. La transition masque le trajet du robot pour fluidifier l’expérience et limiter la cinétose. Elle ne garantit pas l’absence de gêne pour tous. 

La navigation automatique vise à réduire l’attention consacrée au pilotage manuel. Pour le contact sur place, le robot utilise notamment une caméra à 360 degrés. 

Quest Pro peut enregistrer mouvements de tête, expressions et direction du regard ; les gestes pour montrer font aussi partie des interactions. Le robot dispose d’un écran et d’un pointeur mécanique. Ce pointeur n’est pas un bras préhensile déjà capable de saisir des objets. 

VRoxy peut passer virtuellement entre zones de travail. Lors du passage vers un autre bâtiment, un autre robot est activé ; le premier ne saute pas physiquement entre bâtiments. La démonstration montre des possibilités, pas une aptitude prouvée dans tous les environnements.

Des bras pour manipuler les objets et une cartographie autonome étaient des pistes futures. En 2023, le système utilisait des marqueurs au plafond pour naviguer. La comparaison avec Roomba décrivait une fonction souhaitée pour la suite.

Les coauteurs étaient Hyunju Kim, Ruidong Zhang, Brandon Woodard et François Guimbretière, avec l’auteur principal Mose Sakashita. La National Science Foundation et la Nakajima Foundation ont soutenu la recherche.

Associer VR et robotique

L’idée de la réalité virtuelle a une longue histoire. Son association avec la robotique couvre différents usages et limites, et non une seule catégorie uniforme de produits. 

La VR peut servir à piloter des robots à distance et à étudier la collaboration entre personnes et machines. Certains systèmes fournissent un retour tactile ou de force dans la VR, mais cela ne signifie pas que chaque prototype VRoxy possède cette fonction.

Des casques plus abordables et un meilleur suivi des mouvements ont permis davantage d’expériences. Prix et disponibilité ne sont pas les seuls facteurs : connexion, latence, sécurité, conception des tâches et facilité d’utilisation comptent également.

Des systèmes reconfigurables peuvent être adaptés à certains besoins de travail. Il faut évaluer pour chaque usage si la VR améliore la communication avec le robot.

Les domaines de recherche comprennent la simulation pour la formation médicale, l’apprentissage du pilotage de robots et l’exploration de milieux difficiles d’accès. Une simulation peut réduire certains risques d’exercice, mais ne démontre pas automatiquement de meilleurs résultats cliniques ou une sécurité complète en situation réelle. 

VRoxy étudiait comment partager des signaux spatiaux entre collègues éloignés. Le prototype peut inspirer des équipes qui doivent se coordonner, mais ne démontrait pas une large aptitude commerciale.

La VR et la robotique peuvent soutenir la formation et la collecte de démonstrations pour les robots. La valeur ajoutée dépend des objectifs pédagogiques, de l’équipement et de l’évaluation. 

Enseignement à distance et visites virtuelles sont des applications envisageables. La description concerne les perspectives de la recherche de 2023, pas des installations déjà démontrées dans tous ces secteurs.

Exemples d’entreprises en 2023 

Les exemples concernent robotique, analyse d’images ou systèmes chirurgicaux. Cela ne fait pas automatiquement des entreprises des partenaires de VRoxy. Les données boursières sont historiques ; les graphiques intégrés peuvent évoluer.

1. Cambrian Intelligence

L’article décrivait l’intelligence machine et les interfaces de commande à distance de Cambrian Intelligence . Mouvements des mains et des bras, suivi, VR et haptique faisaient partie de la description de l’époque. Le site actuel se concentre sur la vision tridimensionnelle pour bras industriels, ce qui n’est pas la même chose que VRoxy.

L’article mentionnait un financement total de 3 793 919 dollars au 21 septembre 2023. Ce montant historique précis n’est pas confirmé ici indépendamment par une source primaire sur les financements. Les références comprenaient un investissement initial, une subvention de l’ancienne agence européenne EASME et ff Venture Capital. Un tour non précisé ne porte pas officiellement le nom de « série inconnue ».

2. Intel 

Intel développe des semi-conducteurs et des technologies utilisables notamment en analyse d’images et en robotique. Le MiDaS 3.1 lié à Intel estime une profondeur relative à partir d’une seule image. Le projet officiel indique décembre 2022 comme date de publication ; le rapport technique a paru en juillet 2023. Une profondeur relative n’est pas automatiquement une distance exacte en mètres.

INTC Graphique du prix

Le cours Intel de 38,73 dollars, la hausse de 46,69 % depuis le début de l’année et le rendement du dividende de 1,29 % étaient un instantané de 2023. Au troisième trimestre 2023, Intel a enregistré un chiffre d’affaires de 14,2 milliards de dollars, inférieur de 8 % à celui d’un an auparavant. Le bénéfice dilué par action était de 0,07 dollar selon les GAAP, contre 0,41 dollar ajusté non GAAP. 

Pat Gelsinger, alors directeur général, soulignait les progrès des produits et des procédés, les nouveaux clients de fabrication de puces pour des tiers et l’accent mis sur l’IA. C’était son appréciation du trimestre, pas une garantie de résultats futurs. 

3. Vicarious Surgical

L’entreprise développait un système robotique chirurgical. De meilleurs résultats et des interventions abdominales moins invasives étaient des objectifs de conception, pas des bénéfices cliniques prouvés par cette description. Vicarious Surgical décrit une unité patient avec deux bras robotiques, des caméras et une console à vision tridimensionnelle. Un casque VR apparaissait dans les premières démonstrations, mais l’entreprise précise qu’il ne fait pas partie de la première génération. Elle indique aussi que le système ne dispose pas d’autorisation de commercialisation de la FDA et n’est pas commercialisé aux États-Unis. La désignation Breakthrough Device n’est pas une telle autorisation. 

RBOT Graphique du prix

Au 30 juin 2023, Vicarious Surgical disposait d’environ 82,8 millions de dollars de liquidités, équivalents et placements à court terme : il ne s’agissait pas du chiffre d’affaires trimestriel. En juillet 2023, l’entreprise prévoyait une première intervention pour hernie de la paroi abdominale sur un patient à la mi-2024. C’était un projet de l’époque, pas la preuve d’un acte réalisé ou autorisé. Un quatrième accord avec un réseau hospitalier américain signifiait que les partenaires représentaient plus de 250 hôpitaux : pas 250 contrats séparés avec des réseaux ni des robots installés. Le cours de 0,4263 dollar, le PER de −0,68 et le bénéfice par action de −0,63 étaient des données boursières historiques, pas le bénéfice par action du deuxième trimestre ou des chiffres actuels. Des opérations ultérieures sur les actions limitent les comparaisons directes de cours. Un PER négatif ne démontre pas que l’entreprise est bénéficiaire.

Réflexions finales

La VR est étudiée et utilisée pour formation, visualisation et collaboration. L’adoption varie beaucoup selon les secteurs. La démonstration d’un prototype ne prouve pas une implantation générale dans toutes les industries citées. 

L’association avec la robotique offre des possibilités, mais demande financement, développement technique, évaluation de sécurité et parfois autorisations. Exploration et santé peuvent en bénéficier sans que des résultats précis soient déjà acquis.

Les cinq à dix ans évoqués en 2023 correspondaient à environ 2028–2033. C’était une attente, pas un calendrier garanti ou un nouveau délai à partir d’aujourd’hui.

Consultez la présentation des actions liées aux réalités augmentée et virtuelle.