Quebrando Barreiras: Como a Robótica em VR Está Construindo o Futuro da Colaboração Profissional Fluida

A realidade virtual (VR) está crescendo a um ritmo acelerado, com quase um em cada cinco consumidores dos EUA usando VR em 2020. Mas, embora atualmente os setores de jogos e entretenimento sejam os maiores impulsionadores do crescimento da VR mundial, essa tecnologia imersiva também está se expandindo para outras esferas da vida.

Pesquisadores da Brown University e da Cornell University estão trabalhando para expandir o uso da VR em ambientes profissionais. Isso envolve um robô de telepresença que responde automaticamente e em tempo real aos movimentos e gestos feitos por um usuário remoto em realidade virtual.

Para isso, a equipe de pesquisa desenvolveu o sistema robótico chamado VRoxy, um proxy robótico controlado por VR, sem controlador, que tem o potencial de possibilitar colaboração prática entre pessoas que trabalham remotamente em um espaço pequeno, como um escritório, com colegas que trabalham em um espaço muito maior.

“O grande benefício da realidade virtual é que podemos aproveitar todo tipo de técnicas de locomoção que as pessoas usam em jogos de realidade virtual, como mover-se instantaneamente de uma posição para outra.”

– Mose Sakashita, estudante de doutorado em Ciência da Informação na Cornell.

He added:

“Essa funcionalidade permite que usuários remotos ocupem fisicamente um espaço muito limitado, mas colaborem com colegas em um ambiente remoto muito maior.”

Assim, a equipe criou o VRoxy, baseado em um robô semelhante da Cornell chamado ReMotion, que ocupa espaço físico em nome de um usuário remoto e espelha automaticamente os movimentos do usuário em tempo real, transmitindo a linguagem corporal crucial que normalmente se perde em ambientes virtuais padrão. A funcionalidade do ReMotion era limitada a cenários onde ambos os usuários — o local e o remoto — tinham configurações de hardware idênticas e espaços de trabalho de tamanho comparável. No entanto, o VRoxy superou essa limitação.

O que o programa de software VRoxy faz é permitir que um usuário em um local remoto coloque um headset de VR e seja transportado virtualmente para um espaço, que pode ser um escritório, laboratório ou qualquer outro ambiente onde seus colegas estejam trabalhando fisicamente. No local físico, o usuário remoto é representado por um robô, que lhe permite mover-se pelo ambiente usando movimentos naturais, como caminhar. Além disso, o usuário remoto pode colaborar com colegas por meio de gestos, como apontar objetos, animações de cabeça como acenos, e até expressões faciais através do proxy robótico.

Embora ainda esteja em estágios iniciais, os pesquisadores afirmam que o software já tem potencial para enfrentar alguns dos maiores desafios ao usar proxies robóticos e realidade aumentada (AR) para colaboração remota.

VRoxy: Revolucionando a Colaboração Remota 

O artigo “VRoxy: Colaboração de Área Ampla a partir de um Escritório Usando um Proxy Robótico Controlado por VR\” foi apresentado no Symposium on User Interface Software and Technology (UIST) da Association for Computing Machinery (ACM) deste ano, realizado de 29 de outubro a 1 de novembro em São Francisco. O artigo de pesquisa demonstra como o VRoxy pode acomodar o mapeamento de múltiplas localidades físicas em um espaço virtual unificado. 

A realidade virtual oferece a oportunidade de criar interfaces intuitivas ao imergir os usuários em um ambiente 3D onde eles podem visualizar e interagir com robôs em ambientes compartilhados ou remotos, permitindo uma interação mais fácil. As interfaces de VR demonstraram ajudar a reduzir o tempo de conclusão de tarefas, aumentar o desempenho do operador e são geralmente preferidas em relação às interfaces tradicionais. Mas, embora muito trabalho fundamental tenha sido realizado em interfaces de robôs em VR, ainda há muito desenvolvimento necessário na criação de interfaces de teleoperação em VR.

“No momento, robôs controlados por movimento para colaboração exigem que o local físico tenha a mesma quantidade de espaço que o ambiente remoto, mas isso muitas vezes não acontece,” disse Brandon Woodard, estudante de doutorado na Brown University, que também é pesquisador de pós-graduação do Visual Computing Group e, antes disso, estagiou na Nvidia (NVDA ), MIT Lincoln Laboratory, Jet Propulsion Laboratory da NASA e Intel (INTC ). Ele ainda apontou que os cômodos têm dimensões diferentes, o que é facilmente visível mesmo ao se reunir com pessoas no Zoom, o programa de videotelefonia.

De acordo com o artigo, pesquisas recentes em proxies robóticos mostraram que é possível reproduzir automaticamente muitos sinais não-verbais importantes na colaboração co-localizada, mas frequentemente exigem uma configuração de hardware simétrica em cada local. Como solução, a equipe introduziu o VRoxy, um sistema projetado para permitir acesso a espaços remotos através de um robô, usando um headset de VR em um espaço muito menor, como um escritório pessoal. Aqui, os pesquisadores disseram que a capacidade de resposta automática em tempo real do software é fundamental tanto para colegas remotos quanto locais.

O VRoxy mapeia quaisquer pequenos movimentos feitos pelo usuário remoto no espaço VR para os movimentos maiores do robô no espaço físico, permitindo que o usuário navegue facilmente por grandes espaços físicos. Dessa forma, através do VRoxy, um usuário de VR pode navegar rapidamente em uma renderização de baixa fidelidade do espaço remoto. 

Ao colocar um headset de VR, o usuário do VRoxy tem acesso a dois modos de visualização. Um é o modo ao vivo, que exibe uma imagem imersiva do espaço colaborativo em tempo real para interações com colaboradores locais. O outro é o modo de navegação, que mostra caminhos renderizados da sala, permitindo mobilidade mais rápida e suave para que usuários remotos “teletransportem” para onde desejam ir, limitando o enjoo de movimento, disseram os pesquisadores. 

Além disso, o fato de o sistema ser automático significa que os colegas podem simplesmente focar na colaboração em vez de dirigir manualmente o robô, que utiliza o feed de uma câmera 360 para suportar interações em tempo real. 

O sistema também facilita modalidades de interação ao renderizar a micro-mobilidade ao redor de espaços compartilhados no proxy. Essas múltiplas modalidades de sinais não-verbais, como rotação da cabeça, expressões faciais, gestos de apontar e olhar, foram capturadas pelo usuário de VR através do Quest Pro, que são então representadas por um robô de telepresença no local remoto. 

Com o VRoxy, um colaborador pode navegar e colaborar dentro de um vasto ambiente remoto a partir de um espaço físico menor, bem como alternar instantaneamente entre diferentes áreas de trabalho que estão fisicamente separadas, afirmou a pesquisa. Isso demonstra que o VRoxy pode se adaptar tanto a proxies robóticos estacionários quanto móveis usando um headset de nível consumidor.

Em trabalhos futuros, Sakashita, autor principal do artigo, pretende potencializar o VRoxy com braços robóticos para permitir que usuários remotos interajam com objetos físicos no espaço ao vivo via o proxy robótico. Além disso, ele prevê que o VRoxy faça seu próprio mapeamento de um espaço, semelhante ao aspirador Roomba, que usa diferentes tipos de sensores para navegar e adaptar-se ao ambiente. Atualmente, o VRoxy depende de marcadores no teto para navegar em uma sala, mas o suporte ao mapeamento em tempo real poderia permitir sua implantação em uma sala de aula, disse Sakashita.

Hyunju Kim e Ruidong Zhang, ambos estudantes de doutorado na área de ciência da informação, juntamente com François Guimbretière, professor de ciência da informação na Cornell Bowers CIS, e Woodard, são coautores do artigo de pesquisa, que conta com o apoio da Nakajima Foundation e da National Science Foundation.

A Sinergia Liberada: Colaboração entre VR e Robótica

O conceito de realidade virtual existe há muito tempo, desde a década de 1960. No entanto, seu uso no campo da robótica tem sido bastante limitado. Isso apesar de haver uma grande sinergia entre VR e robótica. 

A VR pode ser usada na robótica para proporcionar teleoperação imersiva de robôs e conduzir estudos de interação e colaboração humano-robô, enquanto os robôs ajudam a oferecer experiências de VR mais imersivas ao fornecer feedback háptico aos usuários.

A falta de integração da VR no campo da robótica tem sido causada principalmente pela indisponibilidade e alto custo de dispositivos comerciais de VR, que tiveram consideráveis avanços na última década. Com isso, houve um aumento na combinação do poder da VR e da robótica para interação e colaboração humano-robô.

Com o crescente interesse em mais automação com sistemas reconfiguráveis que podem ser ajustados conforme necessidades mutáveis, estamos vendo um uso crescente da realidade virtual na robótica para tornar a comunicação entre humanos e máquinas mais eficaz.

Essas duas tecnologias são atualmente usadas em múltiplas aplicações para melhorar o desempenho dos robôs enquanto permitem que um humano esteja no controle. Por exemplo, na robótica médica, o treinamento em VR oferece a médicos e cirurgiões a oportunidade de treinar em uma situação quase real sem precisar lidar com pacientes reais. A VR também pode ser usada para treinar soldados a lidar com drones e robôs de nível militar sem o risco de danificar equipamentos caros e insubstituíveis. A pesquisa em VR e robótica ainda é usada para otimizar a exploração espacial em ambientes complexos. 

Ao aproveitar a VR e a robótica, o VRoxy também pode promover avanços significativos na colaboração remota e em ambientes profissionais. Ao permitir que usuários em diferentes locais físicos colaborem de forma fluida em espaços compartilhados, esse software pode ser extremamente valioso para equipes remotas que trabalham em projetos que exigem coordenação e comunicação estreitas.

VR e robótica são tecnologias úteis para treinamento por si só, mas combiná-las permite que a educação em diversas áreas se torne mais intuitiva e imersiva. Elas ainda ajudam a treinar robôs mais inteligentes. 

Além de ser usado para fins de treinamento e fornecimento de assistência e suporte remotos, o VRoxy também pode ser útil em situações onde o espaço físico é limitado, bem como na educação remota, proporcionando aos estudantes experiências imersivas em ambientes físicos. Ele também pode facilitar visitas virtuais a locais, permitindo que partes interessadas explorem espaços físicos remotamente e tomem decisões informadas.

Empresas que Aproveitam o Poder da VR e da Robótica 

Dada o potencial da combinação de VR e robótica, várias empresas estão pesquisando e trabalhando para aproveitar essas tecnologias, então vamos dar uma olhada em algumas das mais proeminentes:

1. Cambrian Intelligence

É focada no desenvolvimento e aplicação de algoritmos de inteligência de máquina. Cambrian Intelligence está construindo interfaces de teleoperação para controlar intuitivamente robôs à distância com movimentos de mãos e braços usando tecnologias de jogos como realidade virtual, rastreamento e hápticos.
Em 21 de setembro de 2023, a Cambrian Intelligence arrecadou cumulativamente um total de US$ 3.793.919 em várias rodadas de financiamento, incluindo uma rodada de série desconhecida significativa, um investimento pré-seed, uma subvenção da EASME – Agência Executiva da UE para PMEs, e um valor não divulgado da ff Venture Capital.

2. Intel 

Um dos maiores fabricantes de chips semicondutores do mundo, a Intel é um ator chave no desenvolvimento de tecnologias relacionadas à robótica e à VR, fornecendo tecnologias para ambos os campos. No início deste ano, Intel introduziu o MiDaS 3.1 para visão computacional como solução para o desafio de estimativa de profundidade na criação de uma ampla gama de aplicações em robótica, AR e VR.

INTC Gráfico de preços

Atualmente, as ações da Intel (INTC) estão sendo negociadas a US$ 38,73, alta de 46,69% neste ano, e a empresa está pagando um rendimento de dividendos de 1,29%. No 3T23, reportou uma receita de US$ 14,2 bilhões, queda de 8% em relação ao ano anterior (YoY) e lucro por ação (EPS) de US$ 0,07. 
“Entregamos um terceiro trimestre excepcional, destacado por progressos em toda a nossa linha de processos e roteiros de produtos, acordos com novos clientes de fundição e impulso ao levar IA a todos os lugares,” disse o CEO da Intel, Pat Gelsinger. 

3. Vicarious Surgical

Esta empresa é liderada por uma equipe de tecnólogos e médicos para aplicar as mais recentes inovações em robótica e realidade virtual a procedimentos cirúrgicos. Para proporcionar aos pacientes melhores resultados e menos risco ou invasividade ao realizar procedimentos abdominais, Vicarious Surgical utiliza um carrinho para pacientes com dois braços robóticos com visibilidade habilitada por câmera e mobilidade excepcional, juntamente com o console do cirurgião para operar o robô, controlável via tela 3D, headset de VR e o software proprietário. 

RBOT Gráfico de preços

No segundo trimestre de 2023, a Vicarious Surgical reportou US$ 82,8 milhões em caixa, equivalentes de caixa e investimentos de curto prazo. Durante esse período, a empresa obteve clareza sobre o caminho clínico e regulatório, com a expectativa de concluir o primeiro procedimento de hérnia ventral em um paciente em meados de 2024. Também assinou um quarto acordo com um grande sistema hospitalar dos EUA, elevando seu total de parceiros hospitalares para mais de 250. Enquanto isso, as ações da Vicarious Surgical (RBOT) estão atualmente sendo negociadas a US$ 0,4263, com um P/E (TTM) de -0,68 e EPS (TTM) de -0,63.

Considerações Finais

Apesar de ser uma tecnologia relativamente incipiente, a adoção da realidade virtual tem sido ampla entre empresas, organizações e até governos, à medida que seu potencial se torna mais claro a cada novo desenvolvimento. A VR não está apenas ganhando muita tração nos setores de jogos, esportes, saúde, educação, imobiliário, manufatura, marketing, automotivo e defesa, mas também está transformando a indústria de robótica de maneira significativa. 

Combinar VR e robótica tem o potencial de salvar vidas e expandir os limites da exploração. Embora ainda esteja na fase de desenvolvimento, com fatores como financiamento, desafios tecnológicos e considerações regulatórias afetando esse crescimento, vemos constantemente cientistas e engenheiros alcançando avanços nessas tecnologias.

Dado o avanço da VR e da robótica, podemos esperar ver a aplicação de sistemas como o VRoxy em indústrias específicas nos próximos 5 a 10 anos, com uma adoção mais ampla levando mais tempo à medida que a tecnologia amadurece e se torna mais acessível.

Clique aqui para a lista das 10 principais ações de Realidade Aumentada (AR) e Realidade Virtual (VR).