AR/VR
장벽을 허물다: VR 로봇공학이 원활한 전문 협업의 미래를 설계하는 방법
가상 현실(virtual reality (VR)) 산업은 빠른 속도로 성장하고 있으며, 거의 5명 중 1명이 2020년에 VR을 사용했습니다. 하지만 현재 게임 및 엔터테인먼트 부문이 전 세계 VR 성장의 가장 큰 동인이지만, 이 몰입형 기술은 다른 생활 영역에도 진입하고 있습니다.
브라운 대학교와 코넬 대학교의 연구원들은 전문 환경에서 VR 사용을 확대하기 위해 노력하고 있습니다. 이는 원격 사용자가 가상 현실에서 만든 움직임과 제스처에 자동으로 실시간으로 반응하는 텔레프레즌스 로봇을 포함합니다.
이를 위해 연구팀은 VRoxy라는 로봇 시스템을 개발했습니다. 이는 컨트롤러가 필요 없고 VR로 제어되는 로봇 프록시로, 작은 공간(예: 사무실)에서 원격으로 작업하는 사람들과 더 큰 공간에서 작업하는 팀원들 간의 실질적인 협업을 가능하게 할 잠재력을 가지고 있습니다.
“가상 현실의 큰 장점은 사람들이 가상 현실 게임에서 사용하는 다양한 이동 기술을 활용할 수 있다는 점이며, 한 위치에서 다른 위치로 즉시 이동할 수 있습니다.”
– Mose Sakashita, 코넬 대학 정보 과학 박사 과정 학생.
그는 덧붙였습니다:
“이 기능은 원격 사용자가 물리적으로 매우 제한된 공간만 차지하면서도 훨씬 더 큰 원격 환경에서 팀원들과 협업할 수 있게 합니다.”
그래서 팀은 코넬에서 개발된 유사 로봇인 ReMotion을 기반으로 VRoxy를 만들었습니다. 이 로봇은 원격 사용자를 대신해 물리적 공간을 차지하고 사용자의 움직임을 실시간으로 자동으로 반영하여 표준 가상 환경에서 손실되는 중요한 몸짓을 전달합니다. ReMotion의 기능은 두 사용자가—현지와 원격—동일한 하드웨어 설정과 비슷한 크기의 작업 공간을 가지고 있을 때만 제한적으로 사용할 수 있었습니다. 그러나 VRoxy는 이 제한을 극복했습니다.
VRoxy 소프트웨어 프로그램이 하는 일은 원격 위치에 있는 사용자가 VR 헤드셋을 착용하고 사무실, 실험실 또는 동료들이 물리적으로 작업하고 있는 다른 어떤 환경으로든 가상으로 이동할 수 있게 하는 것입니다. 물리적 위치에서는 원격 사용자가 로봇을 통해 표현되며, 이를 통해 걷기와 같은 자연스러운 움직임으로 환경을 이동할 수 있습니다. 또한 원격 사용자는 물체를 가리키는 제스처, 고개를 끄덕이는 머리 움직임, 로봇 프록시를 통한 얼굴 표정 등으로 동료와 협업할 수 있습니다.
현재 초기 단계이지만, 연구자들은 이 소프트웨어가 원격 협업을 위한 로봇 프록시와 augmented reality (AR) 소프트웨어 사용 시 직면하는 가장 큰 과제 중 일부를 해결할 잠재력이 이미 있다고 말합니다.
VRoxy: 원격 협업 혁신
이 논문 “VRoxy: Wide-Area Collaboration From an Office Using a VR-Driven Robotic Proxy“은 올해 10월 29일부터 11월 1일까지 샌프란시스코에서 열린 ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄(UIST)에서 발표되었습니다. 이 연구 논문은 VRoxy가 여러 물리적 위치를 하나의 통합 가상 공간에 매핑할 수 있음을 보여줍니다.
가상 현실은 사용자를 3D 환경에 몰입시켜 로봇을 공유 또는 원격 환경에서 보고 상호작용할 수 있는 직관적인 인터페이스를 만들 기회를 제공합니다. 이는 더 쉬운 상호작용을 가능하게 합니다. VR 인터페이스는 작업 완료 시간을 줄이고, 운영자 성능을 향상시키며, 일반적으로 전통적인 인터페이스보다 선호됩니다. 하지만 VR 로봇 인터페이스에 대한 기본 작업이 많이 이루어졌음에도 불구하고, VR 원격 조작 인터페이스를 만드는 데는 아직 많은 개발이 필요합니다.
“현재 협업을 위한 동작 제어 로봇은 물리적 위치가 원격 환경과 동일한 공간을 가져야 하지만, 실제로는 종종 그렇지 않습니다,” 라고 브라운 대학교 박사 과정 학생이자 Visual Computing Group의 연구원이며 이전에 Nvidia, MIT Lincoln Laboratory, NASA 제트 추진 연구소, Intel에서 인턴을 했던 Brandon Woodard는 말했습니다. 그는 또한 방마다 크기가 다르며, 이는 Zoom과 같은 화상 회의 프로그램에서도 쉽게 확인할 수 있다고 지적했습니다.
논문에 따르면, 최근 로봇 프록시 연구는 공동 작업에서 중요한 비언어적 신호를 자동으로 재현할 수 있음을 보여주었지만, 이는 각 위치에서 대칭적인 하드웨어 구성을 필요로 합니다. 이를 해결하기 위해 팀은 VRoxy를 도입했으며, 이는 작은 개인 사무실과 같은 작은 공간에서 VR 헤드셋을 사용해 원격 공간에 접근할 수 있도록 설계된 시스템입니다. 연구진은 소프트웨어의 자동 실시간 반응성이 원격 및 현지 팀원 모두에게 핵심이라고 말했습니다.
VRoxy는 원격 사용자가 VR 공간에서 만든 작은 움직임을 물리적 공간에서 로봇의 더 큰 움직임으로 매핑하여 사용자가 넓은 물리적 공간을 쉽게 탐색할 수 있게 합니다. 이를 통해 VRoxy를 사용하면 VR 사용자는 원격 공간의 저해상도 렌더링을 빠르게 탐색할 수 있습니다.
VR 헤드셋을 착용하면 VRoxy 사용자는 두 가지 보기 모드에 접근할 수 있습니다. 하나는 실시간 모드로, 현지 협업자와의 상호작용을 위해 협업 공간의 몰입형 이미지를 실시간으로 표시합니다. 다른 하나는 네비게이션 모드로, 방의 경로를 렌더링하여 원격 사용자가 원하는 위치로 “텔레포트”할 수 있게 하며, 이는 움직임 멀미를 최소화합니다.
게다가 시스템이 자동화되어 있기 때문에 팀원들은 로봇을 수동으로 조종하는 대신 협업에 집중할 수 있으며, 로봇은 360도 카메라 피드를 사용해 실시간 상호작용을 지원합니다.
시스템은 또한 프록시 주변 공유 공간에서의 미세 이동성을 렌더링함으로써 상호작용 방식을 촉진합니다. 머리 회전, 얼굴 표정, 가리키는 제스처, 눈길과 같은 다양한 비언어적 신호가 Quest Pro를 통해 VR 사용자가 포착하고, 이는 원격 위치의 텔레프레즌스 로봇을 통해 표현됩니다.
VRoxy를 사용하면 협업자는 작은 물리적 공간에서 넓은 원격 환경을 탐색하고 협업할 수 있으며, 물리적으로 떨어진 별도의 작업 공간 사이를 즉시 전환할 수 있습니다. 이는 소비자 등급 헤드셋을 사용해 정지 및 이동형 로봇 프록시 모두에 적용될 수 있음을 보여줍니다.
향후 작업에서 논문의 주요 저자인 Sakashita는 로봇 팔을 추가해 원격 사용자가 로봇 프록시를 통해 실시간 공간의 물리적 객체와 상호작용할 수 있도록 VRoxy를 강화할 계획입니다. 또한 그는 VRoxy가 Roomba 진공청소기와 유사하게 자체적으로 공간을 매핑할 수 있게 될 것으로 예상합니다. 현재 VRoxy는 천장 마커를 사용해 방을 탐색하지만, 실시간 매핑을 지원하면 교실에 배치할 수 있을 것이라고 Sakashita는 말했습니다.
Hyunju Kim과 Ruidong Zhang은 정보 과학 분야 박사 과정 학생이며, Cornell Bowers CIS의 정보 과학 교수인 François Guimbretière와 Woodard는 이 연구 논문의 공동 저자이며, 이 논문은 Nakajima Foundation과 National Science Foundation의 지원을 받았습니다.
시너지 해방: VR과 로봇공학 협업
가상 현실 개념은 1960년대부터 존재해 왔습니다. 그러나 로봇공학 분야에서의 활용은 비교적 제한적이었습니다. 이는 VR과 로봇공학 사이에 큰 시너지 효과가 있음에도 불구하고 그렇습니다.
VR은 로봇공학에서 몰입형 로봇 원격 조작을 제공하고 인간-로봇 상호작용 및 협업 연구를 수행하는 데 사용될 수 있으며, 로봇은 사용자에게 촉각 피드백을 제공함으로써 더 몰입감 있는 VR 경험을 제공하는 데 도움을 줍니다.
로봇공학 분야에서 VR 통합이 부족한 주된 이유는 상용 VR 장치의 가용성 및 비용 효율성이 부족했기 때문이며, 지난 10년간 상당한 발전을 이루었습니다. 이에 따라 인간-로봇 상호작용 및 협업을 위해 VR과 로봇공학의 결합이 증가하고 있습니다.
재구성 가능한 시스템에 대한 관심이 증가하면서 자동화에 대한 수요가 늘어나고, 인간과 기계 간의 커뮤니케이션을 보다 성공적으로 만들기 위해 로봇공학에서 가상 현실의 활용이 증가하고 있습니다.
이 두 기술은 현재 여러 응용 분야에서 로봇의 성능을 향상시키면서 인간이 제어할 수 있도록 사용되고 있습니다. 예를 들어 의료 로봇 분야에서는 VR 훈련을 통해 의사와 외과 의사가 실제 환자를 다루지 않고도 거의 실제와 같은 상황에서 훈련할 수 있습니다. VR은 또한 군인들이 군용 드론 및 로봇을 위험 없이 훈련하도록 돕습니다. VR과 로봇공학 연구는 복잡한 환경에서의 우주 탐사를 최적화하는 데에도 활용됩니다.
VR과 로봇공학을 활용함으로써 VRoxy는 원격 협업 및 전문 환경에서도 상당한 발전을 가져올 수 있습니다. 서로 다른 물리적 위치에 있는 사용자가 공유 공간에서 원활하게 협업할 수 있게 함으로써, 이 소프트웨어는 긴밀한 조정과 커뮤니케이션이 필요한 원격 팀에게 큰 가치를 제공할 수 있습니다.
VR과 로봇공학은 각각 교육용으로도 유용하지만, 이들을 결합하면 모든 분야의 교육이 보다 직관적이고 몰입감 있게 됩니다. 또한 더 똑똑한 로봇 자체를 훈련시키는 데에도 도움이 됩니다.
교육 목적 및 원격 지원·지원 외에도, VRoxy는 물리적 공간이 제한된 상황이나 원격 교육에서도 활용될 수 있습니다. 학생들에게 물리적 환경에서의 몰입형 경험을 제공하고, 가상 현장 방문을 촉진하여 이해관계자들이 원격으로 물리적 공간을 탐색하고 정보에 기반한 결정을 내릴 수 있게 합니다.
VR과 로봇공학의 힘을 활용하는 기업들
VR과 로봇공학 결합의 잠재력을 고려할 때, 여러 기업이 이 기술들을 연구하고 활용하고 있으므로, 가장 주목할 만한 기업들을 살펴보겠습니다:
1. Cambrian Intelligence
이 회사는 기계 지능 알고리즘의 개발 및 적용에 집중하고 있습니다. Cambrian Intelligence는 가상 현실, 트래킹, 햅틱과 같은 게임 기술을 활용해 손과 팔 움직임으로 원격 로봇을 직관적으로 제어하는 텔레오퍼레이션 인터페이스를 구축하고 있습니다.
2023년 9월 21일 현재, Cambrian Intelligence는 다양한 투자 라운드에서 총 3,793,919달러를 모금했으며, 여기에는 미확인 시리즈 라운드, 프리시드 투자, EASME – EU 중소기업 실행 기관의 보조금, 그리고 ff Venture Capital의 비공개 투자금이 포함됩니다.
2. Intel
세계 최대 규모의 반도체 칩 제조업체 중 하나인 Intel은 로봇공학 및 VR과 관련된 기술 개발의 핵심 기업이며, 올해 초 Intel은 컴퓨터 비전을 위한 MiDaS 3.1을 도입해 로봇공학, AR 및 VR 분야에서 다양한 응용 프로그램의 깊이 추정 문제를 해결하는 솔루션을 제공했습니다.
(INTC
)
(INTC )
현재 Intel (INTC) 주가는 $38.73에 거래되고 있으며, 올해 46.69% 상승했으며, 배당 수익률은 1.29%입니다. 2023년 3분기에는 매출이 142억 달러로 전년 대비 8% 감소했으며, 주당 순이익(EPS)은 $0.07였습니다.
“우리는 뛰어난 3분기를 달성했으며, 프로세스와 제품 로드맵 전반에 걸친 진전, 새로운 파운드리 고객과의 계약, 그리고 AI를 어디에든 적용하는 모멘텀을 강조합니다.”라고 Intel CEO Pat Gelsinger가 말했습니다.
3. Vicarious Surgical
이 회사는 기술자와 의사들로 구성된 팀이 이끌고 있으며, 최신 로봇공학 및 가상 현실 혁신을 외과 수술에 적용하고 있습니다. 환자에게 더 나은 결과와 낮은 위험 또는 침습성을 제공하기 위해 Vicarious Surgical은 카메라가 장착된 시야와 뛰어난 이동성을 갖춘 두 개의 로봇 팔이 있는 환자 카트를 사용하며, 외과 의사 콘솔을 통해 로봇을 제어합니다. 이 콘솔은 3D 스크린, VR 헤드셋 및 독점 소프트웨어를 통해 조작됩니다.
(RBOT
)
(RBOT )
2023년 2분기 동안 Vicarious Surgical은 현금, 현금성 자산 및 단기 투자액으로 8,280만 달러를 보유했습니다. 이 기간 동안 회사는 임상 및 규제 경로에 대한 명확성을 얻었으며, 2024년 중반에 첫 복부 탈장 시술을 완료할 것으로 기대됩니다. 또한 미국 주요 병원 시스템과의 네 번째 계약을 체결해 병원 파트너 수를 250개 이상으로 늘렸습니다. 한편, Vicarious Surgical (RBOT)의 주가는 현재 $0.4263에 거래되고 있으며, P/E (TTM)는 -0.68, EPS (TTM)는 -0.63입니다.
맺음말
비교적 초기 단계 기술임에도 불구하고, 가상 현실의 채택은 기업, 조직, 심지어 정부에까지 널리 퍼지고 있으며, 그 잠재력이 새로운 개발마다 명확해지고 있습니다. VR은 게임, 스포츠, 의료, 교육, 부동산, 제조, 마케팅, 자동차, 방위 분야에서 큰 관심을 얻고 있을 뿐만 아니라 로봇공학 산업에도 큰 변화를 일으키고 있습니다.
VR과 로봇공학을 결합하면 생명을 구하고 탐사의 한계를 넓힐 잠재력이 있습니다. 아직 개발 단계에 있으며, 자금 조달, 기술적 과제, 규제 고려 사항 등이 성장에 영향을 미치지만, 과학자와 엔지니어는 지속적으로 이러한 기술에서 돌파구를 만들고 있습니다.
VR과 로봇공학의 발전을 감안할 때, 향후 5~10년 내에 VRoxy와 같은 시스템이 특정 산업에 적용되는 것을 기대할 수 있으며, 기술이 성숙하고 접근성이 높아짐에 따라 보다 넓은 채택에는 시간이 더 걸릴 것입니다.
