Briser les barrières : comment la robotique VR façonne l’avenir de la collaboration professionnelle fluide

L’industrie de la réalité virtuelle (VR) croît à un rythme rapide, avec près d’un consommateur américain sur cinq utilisant la VR en 2020. Mais alors que les secteurs du jeu et du divertissement sont actuellement les principaux moteurs de la croissance de la VR dans le monde, cette technologie immersive s’étend également à d’autres domaines de la vie.

Des chercheurs de l’Université Brown et de l’Université Cornell travaillent à étendre l’utilisation de la VR dans les environnements professionnels. Cela implique un robot de téléprésence qui répond automatiquement et en temps réel aux mouvements et gestes effectués par un utilisateur distant en réalité virtuelle.

Pour cela, l’équipe de recherche a développé le système robotique appelé VRoxy, un proxy robotique contrôlé par la VR, sans contrôleur, qui a le potentiel de permettre une collaboration pratique entre des personnes travaillant à distance dans un petit espace, comme un bureau, avec des coéquipiers travaillant dans un espace beaucoup plus grand.

“Le grand avantage de la réalité virtuelle, c’est que nous pouvons exploiter toutes sortes de techniques de locomotion que les gens utilisent dans les jeux de réalité virtuelle, comme se déplacer instantanément d’une position à une autre.”

– Mose Sakashita, doctorant en sciences de l’information à Cornell.

Il a ajouté:

“Cette fonctionnalité permet aux utilisateurs distants d’occuper physiquement un espace très limité tout en collaborant avec des coéquipiers dans un environnement distant beaucoup plus vaste.”

Ainsi, l’équipe a créé VRoxy, basé sur un robot similaire de Cornell appelé ReMotion, qui occupe de l’espace physique au nom d’un utilisateur distant et reproduit automatiquement les mouvements de l’utilisateur en temps réel, tout en transmettant le langage corporel crucial qui serait autrement perdu dans les environnements virtuels standards. La fonctionnalité de ReMotion était limitée aux scénarios où les deux utilisateurs — celui à l’extrémité locale et celui à l’extrémité distante — disposaient de configurations matérielles identiques et d’espaces de travail de taille comparable. Cependant, VRoxy a surmonté cette limitation.

Ce que fait le programme logiciel VRoxy, c’est qu’il permet à un utilisateur situé à distance d’enfiler un casque VR et d’être virtuellement transporté dans un espace, qui peut être un bureau, un laboratoire ou tout autre lieu où ses collègues travaillent physiquement. Sur le site physique, l’utilisateur distant est alors représenté par un robot, qui lui permet de se déplacer dans cet environnement en utilisant des mouvements naturels, comme la marche. De plus, l’utilisateur distant peut collaborer avec ses collègues grâce à des gestes tels que pointer des objets, des animations de tête comme hocher la tête, et même des expressions faciales via le proxy robotique.

Bien qu’encore à ses débuts, les chercheurs affirment que le logiciel a déjà le potentiel de répondre à certains des plus grands défis rencontrés lors de l’utilisation de proxies robotisés et de logiciels de réalité augmentée (AR) pour la collaboration à distance.

VRoxy: Révolutionner la collaboration à distance 

The paper “VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy” was presented at this year’s Association for Computing Machinery (ACM) Symposium on User Interface Software and Technology (UIST) held on Oct. 29 through Nov. 1 in San Francisco. The research paper demonstrates how VRoxy can accommodate mapping multiple physical locations onto a unified virtual space. 

La réalité virtuelle offre la possibilité de créer des interfaces intuitives en immergeant les utilisateurs dans un environnement 3D où ils peuvent voir et interagir avec des robots dans des environnements partagés ou distants, facilitant ainsi l’interaction. Il a été démontré que les interfaces VR aident à réduire le temps d’exécution des tâches, à augmenter la performance des opérateurs et sont généralement préférées aux interfaces traditionnelles. Mais bien qu’un travail de base important ait été réalisé sur les interfaces robotiques en VR, il reste encore beaucoup de développement à faire pour créer des interfaces de téléopération en VR.

“Actuellement, les robots contrôlés par le mouvement pour la collaboration nécessitent que l’emplacement physique dispose du même espace que l’environnement distant, ce qui n’est souvent pas le cas,” a déclaré Brandon Woodard, doctorant à l’Université Brown, également chercheur diplômé pour le Visual Computing Group et auparavant stagiaire chez Nvidia, le MIT Lincoln Laboratory, le Jet Propulsion Laboratory de la NASA et Intel. Il a ajouté que les pièces ont des dimensions différentes, ce qui est facilement visible même lors de réunions avec des personnes sur Zoom, le logiciel de téléphonie vidéo.

Selon l’article, les recherches récentes sur les proxies robotisés ont montré qu’il est possible de reproduire automatiquement de nombreux signaux non verbaux importants dans la collaboration co-localisée, mais elles nécessitent souvent une configuration matérielle symétrique dans chaque lieu. En réponse, l’équipe a présenté VRoxy, un système conçu pour permettre l’accès à des espaces distants via un robot, en utilisant un casque VR dans un espace beaucoup plus petit, comme un bureau personnel. Les chercheurs ont indiqué que la réactivité automatique en temps réel du logiciel est essentielle tant pour les coéquipiers distants que locaux.

VRoxy traduit les petits mouvements effectués par l’utilisateur distant dans l’espace VR en mouvements plus grands du robot dans l’espace physique, permettant à l’utilisateur de naviguer facilement dans de grands espaces physiques. Ainsi, grâce à VRoxy, un utilisateur VR peut rapidement se déplacer dans une représentation à basse fidélité de l’espace distant. 

Lorsqu’il enfile un casque VR, un utilisateur de VRoxy accède à deux modes d’affichage. L’un est le mode en direct, qui montre une image immersive de l’espace collaboratif en temps réel pour les interactions avec les collaborateurs locaux. L’autre est un mode de navigation qui affiche les trajectoires rendues de la pièce, permettant aux utilisateurs distants de se « téléporter » plus rapidement et de façon plus fluide vers l’endroit souhaité tout en limitant le mal des transports, ont indiqué les chercheurs. 

De plus, le caractère automatique du système signifie que les coéquipiers peuvent simplement se concentrer sur la collaboration au lieu de piloter manuellement le robot, qui utilise le flux d’une caméra à 360° pour soutenir les interactions en temps réel. 

Le système facilite également les modalités d’interaction en rendant la micro-mobilité autour des espaces partagés sur le proxy. Ces multiples modalités de signaux non verbaux, comme la rotation de la tête, les expressions faciales, les gestes de pointage et le regard, ont été capturées par l’utilisateur VR via le Quest Pro, puis reproduites par un robot de téléprésence à l’emplacement distant. 

Avec VRoxy, un collaborateur peut naviguer et collaborer au sein d’un vaste environnement distant depuis un espace physique plus petit, ainsi que passer instantanément d’un espace de travail à un autre physiquement séparé, ont déclaré les chercheurs. Cela montre que VRoxy peut s’adapter tant aux proxies robotisés stationnaires qu’aux mobiles en utilisant un casque grand public.

Dans les travaux futurs, Sakashita, l’auteur principal de l’article, prévoit d’équiper VRoxy de bras robotisés afin de permettre aux utilisateurs distants d’interagir avec des objets physiques dans l’espace réel via le proxy robotique. De plus, il envisage que VRoxy réalise sa propre cartographie d’un espace, à l’instar de l’aspirateur Roomba, qui utilise différents capteurs pour naviguer et s’adapter à son environnement. Actuellement, VRoxy s’appuie sur des marqueurs au plafond pour naviguer dans une pièce, mais le support de la cartographie en temps réel pourrait permettre son déploiement dans une salle de classe, a déclaré Sakashita.

Hyunju Kim et Ruidong Zhang, tous deux doctorants en sciences de l’information, ainsi que François Guimbretière, professeur de sciences de l’information à Cornell Bowers CIS, et Woodard, sont co-auteurs de l’article de recherche, qui est soutenu par la Nakajima Foundation et la National Science Foundation.

La synergie libérée: Collaboration VR et robotique

Le concept de réalité virtuelle existe depuis longtemps, depuis les années 1960. Cependant, son utilisation dans le domaine de la robotique a été plutôt limitée. Cela malgré le fait qu’il existe une grande synergie entre la VR et la robotique. 

La VR peut être utilisée en robotique pour offrir une téléopération robotique immersive et mener des études d’interaction et de collaboration homme-robot, tandis que les robots contribuent à offrir des expériences VR plus immersives en fournissant un retour haptique aux utilisateurs.

Le manque d’intégration de la VR dans le domaine de la robotique est principalement dû à l’absence de disponibilité et d’accessibilité des dispositifs VR commerciaux, qui ont connu des progrès considérables au cours de la dernière décennie. Et avec cela, il y a eu une augmentation de la combinaison de la puissance de la VR et de la robotique pour l’interaction et la collaboration homme-robot.

Avec un intérêt croissant pour davantage d’automatisation grâce à des systèmes reconfigurables pouvant être ajustés en fonction des besoins changeants, nous constatons une utilisation croissante de la réalité virtuelle en robotique pour rendre la communication entre humains et machines plus efficace.

Ces deux technologies sont actuellement utilisées dans de multiples applications pour améliorer les performances des robots tout en permettant à un humain de garder le contrôle. Par exemple, en robotique médicale, la formation en VR offre aux médecins et chirurgiens la possibilité de s’entraîner dans une situation quasi réelle sans devoir gérer de vrais patients. La VR peut également être utilisée pour former les soldats à manipuler des drones et robots de niveau militaire sans le risque d’endommager du matériel coûteux et irremplaçable. La recherche en VR et robotique est également utilisée pour optimiser l’exploration spatiale dans des environnements complexes. 

En exploitant la VR et la robotique, VRoxy peut également engendrer des avancées significatives dans la collaboration à distance et les environnements professionnels. En permettant aux utilisateurs présents à différents emplacements physiques de collaborer de manière fluide dans des espaces partagés, ce logiciel peut s’avérer très précieux pour les équipes distantes travaillant sur des projets nécessitant une coordination et une communication étroites.

La VR et la robotique sont des technologies utiles pour la formation en elles-mêmes, mais leur combinaison permet à l’éducation dans tous les domaines de devenir plus intuitive et immersive. Elles aident même à former des robots plus intelligents. 

En plus d’être utilisées à des fins de formation et de fournir une assistance et un soutien à distance, VRoxy peut également être utile dans les situations où l’espace physique est limité, ainsi que dans l’éducation à distance, en offrant aux étudiants des expériences immersives dans des environnements physiques. Elle peut également faciliter les visites virtuelles de sites, permettant aux parties prenantes d’explorer des espaces physiques à distance et de prendre des décisions éclairées.

Entreprises exploitant la puissance de la VR et de la robotique 

Compte tenu du potentiel de la combinaison VR et robotique, plusieurs entreprises recherchent et travaillent à exploiter ces technologies, examinons donc quelques-unes des plus importantes :

1. Cambrian Intelligence

Elle se concentre sur le développement et l’application d’algorithmes d’intelligence machine. Cambrian Intelligence crée des interfaces de téléopération pour contrôler intuitivement des robots à distance avec des mouvements de main et de bras en utilisant des technologies de jeu telles que la réalité virtuelle, le suivi et le retour haptique.

Au 21 septembre 2023, Cambrian Intelligence a levé au total 3 793 919 $ au cours de diverses levées de fonds, incluant une série importante non précisée, un investissement pré-amorçage, une subvention de l’EASME – Agence exécutive de l’UE pour les PME, et un montant non divulgué de ff Venture Capital.

2. Intel 

L’un des plus grands fabricants de puces semi-conductrices au monde, Intel est un acteur clé dans le développement de technologies liées à la robotique et à la VR, fournissant des technologies pour les deux domaines. Plus tôt cette année, Intel a présenté MiDaS 3.1 pour la vision par ordinateur comme solution au défi d’estimation de profondeur dans la création d’un large éventail d’applications en robotique, AR et VR.

(INTC )

Actuellement, les actions d’Intel (INTC) se négocient à 38,73 $, en hausse de 46,69 % cette année, et l’entreprise verse un rendement de dividende de 1,29 %. Pour le 3ᵉ trimestre 2023, elle a déclaré un chiffre d’affaires de 14,2 milliards de dollars, en baisse de 8 % d’une année sur l’autre (YoY) et un bénéfice par action (EPS) de 0,07 $. 

“Nous avons réalisé un troisième trimestre exceptionnel, souligné par des progrès généralisés sur nos feuilles de route processus et produit, des accords avec de nouveaux clients de fonderie, et une dynamique alors que nous déployons l’IA partout,” a déclaré le PDG d’Intel, Pat Gelsinger. 

3. Vicarious Surgical

Cette entreprise est dirigée par une équipe de technologues et de médecins afin d’appliquer les dernières innovations en robotique et réalité virtuelle aux procédures chirurgicales. Pour offrir aux patients de meilleurs résultats et moins de risques ou d’invasivité lors d’interventions abdominales, Vicarious Surgical utilise un chariot patient doté de deux bras robotiques avec visibilité via caméra et mobilité exceptionnelle, ainsi qu’une console chirurgienne pour piloter le robot, contrôlable via un écran 3D, un casque VR et le logiciel propriétaire. 

(RBOT )

Pour le deuxième trimestre 2023, Vicarious Surgical a déclaré 82,8 millions de dollars en liquidités, équivalents de liquidités et placements à court terme. Au cours de cette période, l’entreprise a obtenu une clarification sur la voie clinique et réglementaire avec l’objectif de réaliser la première procédure de hernie ventrale chez un patient à la mi-2024. Elle a également signé un quatrième accord majeur avec un système hospitalier américain, portant son nombre total de partenaires hospitaliers à plus de 250. Par ailleurs, les actions de Vicarious Surgical (RBOT) se négocient actuellement à 0,4263 $, avec un ratio P/E (TTM) de -0,68 et un EPS (TTM) de -0,63.

Réflexions finales

Bien qu’il s’agisse d’une technologie relativement naissante, l’adoption de la réalité virtuelle s’est largement répandue parmi les entreprises, organisations et même les gouvernements, son potentiel devenant plus clair à chaque nouvelle avancée. La VR ne gagne pas seulement en popularité dans le jeu, le sport, la santé, l’éducation, l’immobilier, la fabrication, le marketing, l’automobile et la défense, mais elle transforme également l’industrie de la robotique de manière significative. 

Combiner la VR et la robotique a le potentiel de sauver des vies et de repousser les limites de l’exploration. Bien qu’elle soit encore en phase de développement, avec des facteurs tels que le financement, les défis technologiques et les considérations réglementaires qui influencent cette croissance, nous voyons constamment des scientifiques et ingénieurs réaliser des percées dans ces technologies.

Compte tenu des progrès de la VR et de la robotique, nous pouvons nous attendre à voir l’application de systèmes comme VRoxy dans des industries spécifiques au cours des 5 à 10 prochaines années, avec une adoption plus large qui prendra davantage de temps à mesure que la technologie mûrit et devient plus accessible.

Cliquez ici pour la liste des 10 meilleures actions de réalité augmentée (AR) et de réalité virtuelle (VR).