연구진이 VR 헤드셋, 핸드 컨트롤러, 트레드밀을 이용해 초소형 휴머노이드 로봇의 팔과 다리를 원격으로 동시 제어할 수 있는 완전한 시스템을 개발했습니다. 실시간 모션 리타게팅과 강화 학습(RL) 보행 정책을 결합하여 수동 균형 유지나 보행 모드 전환 없이 전신 원격 조종을 실현했습니다.
목차
연구진이 만든 것
연구진은 원격 위치-조작을 위한 완전한 소프트웨어 및 하드웨어 프레임워크를 구축했습니다. 이는 가상 현실 인터페이스를 통해 휴머노이드 로봇의 이동과 조작을 동시에 제어하는 기술입니다. 하드웨어는 VIVE Pro 2 헤드셋으로 조작자의 머리 움직임을 추적하고, 두 개의 VIVE 컨트롤러로 손 포즈를 캡처하며, 4개의 SteamVR Basestation 2.0이 광학 추적을 담당합니다. KAT Walk C2+ VR 트레드밀은 조작자의 보행 동작을 포착하지만, 이 기능은 추후 연구를 위해 예약되었습니다. 모든 장치는 i9 CPU와 RTX 4090 GPU를 탑재한 고성능 PC에서 실행되어 VR 지연 시간을 최소화합니다.
대상 로봇은 ROBOTIS OP3로, 20개의 회전 자유도(다리당 6 DoF, 팔당 3 DoF, 2 DoF 팬-틸트 헤드)를 가진 초소형 휴머노이드입니다. DYNAMIXEL XM430-W350-R 서보 모터는 연구진이 개발한 데이터 기반 액추에이터 모델로 제어됩니다. 로봇의 기존 카메라는 VR180 이중 어안 렌즈 USB 카메라로 교체되어 조작자에게 몰입감 있는 1인칭 시점을 제공합니다. 소프트웨어 측면에서는 전신 PD 기반 임피던스 제어기를 통한 순응적 조작과 RL 기반 보행 정책을 결합하여 걷기와 서 있기 균형을 처리합니다. 전체 파이프라인은 실제 OP3 하드웨어에서 검증되었습니다.
주요 결과
연구진은 시스템 검증을 위해 두 가지 실험을 수행했습니다:
- 원격 조작 검증: 조작자가 양팔로 빠르게 원을 그리며 10회 반복했습니다. 이때 VR 컨트롤러 위치와 로봇의 실제 엔드이펙터 위치를 50Hz로 기록하여 팔 리타게팅 파이프라인의 모션 추적 지연 시간과 정확도를 측정했습니다.
- 이동 검증: 80초 동안 3초마다 임의의 전신 속도 명령을 로봇에 전송했습니다. 이족 보행 안정성 지표인 정규화된 투영 중력을 명령 속도와 함께 기록하여 RL 정책이 다양한 속도 변화에서 균형을 얼마나 잘 유지하는지 평가했습니다.
논문에 따르면 시스템은 샘플 실험(보충 동영상 제공)에서 양팔 원격 위치-조작을 성공적으로 시연했습니다. 초록에 정확한 수치 벤치마크는 없지만, 실험을 통해 통합 프레임워크가 조작자의 손 움직임을 실시간 추적하고 다양한 명령에서 안정적인 보행을 유지할 수 있음을 확인했습니다. 데이터 기반 액추에이터 모델은 DYNAMIXEL 서보의 신뢰할 수 있는 토크 제어에 필수적이었습니다.
작동 방식
시스템은 세 가지 상호 연결된 계층으로 작동합니다:
- VR 모션 캡처: VIVE Pro 2 HMD와 컨트롤러가 최대 90Hz로 6 DoF 포즈를 보고합니다. 조작자의 팔과 머리 위치는 역기구학을 사용하여 로봇의 해당 관절 각도로 리타게팅됩니다. VR180 카메라 영상은 텔레프레즌스를 위해 HMD로 다시 스트리밍됩니다.
- 액추에이터 모델링 및 임피던스 제어: DYNAMIXEL XM430 서보는 내장 토크 제어 기능이 제한적이므로, 연구진은 각 액추에이터의 데이터 기반 모델(원하는 토크를 명령 전류로 매핑)을 도출했습니다. 전신 PD 기반 임피던스 제어기는 원하는 엔드이펙터 힘을 관절 토크로 변환하여 로봇이 조작자 명령을 따르면서 외란에 물리적으로 순응할 수 있게 합니다.
- RL 보행 정책: 시뮬레이션에서 훈련된 강화 학습 정책이 로봇이 원하는 선속도와 각속도를 따르면서 똑바로 서 있도록 하는 관절 토크를 출력합니다. 정책은 액추에이터 시스템 식별(데이터 기반 모델)을 통해 실제 로봇으로 전환되었습니다. RL 정책은 임피던스 제어기와 동일한 제어 루프에서 실행되므로, 조작 및 이동 명령이 토크 수준에서 혼합됩니다.
소프트웨어 아키텍처는 모듈식입니다: VR 인터페이스가 고수준 명령을 보내고, RL 정책이 보행을 담당하며, 임피던스 제어기가 팔 순응을 관리합니다. 세 가지 모두 OP3의 온보드 i7 NUC 및 OpenCR 보드에서 동시에 실행됩니다.
로봇 공학에 중요한 이유
이 연구는 초소형 휴머노이드의 전신 원격 조종이 상용 VR 하드웨어와 학습 기반 제어로 가능함을 입증했습니다. 로봇 공학 전문가에게 이는 여러 실용적인 사용 사례를 열어줍니다:
- 위험 환경에서의 원격 검사 및 조작(예: 원전 해체, 재난 대응) – 휴머노이드 폼팩터가 계단이나 좁은 공간을 이동해야 하는 경우 유용합니다.
- 물리적 상호작용이 가능한 텔레프레즌스 – 임피던스 제어기가 로봇이 물체와 안전하게 접촉할 수 있도록 보장합니다.
- 확장 가능한 훈련 – RL 보행 정책은 하드웨어 변경 없이 개선될 수 있어, 동일한 프레임워크로 다양한 휴머노이드 플랫폼을 제어할 가능성이 있습니다.
이 시스템은 특히 연구실과 교육 분야에서 널리 사용되는 저렴한 ROBOTIS OP3와 같은 소형 휴머노이드에 적합합니다. 유사한 휴머노이드는 Robot Overflow의 휴머노이드 로봇 목록에서 확인하거나, 관련 조작 작업에 사용할 중고 협동 로봇 팔은 중고 코봇 판매에서 찾아볼 수 있습니다.
한계와 남은 과제
시스템에는 몇 가지 인정된 한계가 있습니다:
- 로봇이 벽 전원에 연결되어 있어 자율성과 현장 배치가 제한됩니다.
- 보행 정책은 중간 속도에서만 검증되었습니다. 급회전이나 경사면에서는 불안정해질 수 있습니다.
- VR 모션 추적은 가림이나 지터로 인해 오류가 발생할 수 있으며, 이는 로봇의 엔드이펙터에 전파됩니다.
- 액추에이터 모델은 특정 DYNAMIXEL XM430 서보에 대해 도출되었습니다. 다른 액추에이터로 이식하려면 재모델링이 필요합니다.
남은 과제로는 이 시스템이 더 큰 휴머노이드에 얼마나 잘 확장되는지, VR 트레드밀이 더 자연스러운 보행을 위해 조작자 신체 추적을 대체할 수 있는지, 수동 모드 전환 없이 다중 접촉 작업(예: 계단 오르기)을 어떻게 처리할지 등이 있습니다.
자주 묻는 질문
이 시스템을 사용하려면 어떤 하드웨어가 필요한가요? VIVE Pro 2 헤드셋, VIVE 컨트롤러 2개, SteamVR Basestation 2.0 4개, KAT Walk C2+ 트레드밀(선택 사항), ROBOTIS OP3 휴머노이드와 온보드 컴퓨터가 필요합니다.
조작자가 로봇의 걷기 속도와 방향을 제어할 수 있나요? 네 – RL 보행 정책은 연속적인 선속도와 각속도 명령을 받아들입니다. 이 명령은 조작자의 신체 움직임이나 조이스틱 입력으로 생성될 수 있습니다(현재 설정에서는 프로그램 방식으로 전송).
조작 중 로봇의 균형은 어떻게 유지되나요? RL 정책이 팔 움직임과 외력의 영향을 상쇄하는 관절 토크를 생성하여 균형을 유지합니다. 임피던스 제어기가 순응성을 추가하여 로봇이 접촉 중에도 강체처럼 되지 않도록 합니다.
시스템이 상용 배포 준비가 되었나요? 아직 아닙니다. 연구 프로토타입으로, 전용 PC, 전원 연결, 정밀한 보정이 필요합니다. 하지만 소프트웨어 아키텍처는 모듈식이므로 다른 휴머노이드 플랫폼에 적용 가능합니다.
결론
이 연구는 VR 원격 조작과 학습된 보행 정책의 결합이 초소형 휴머노이드 로봇의 실시간 전신 제어를 실현할 수 있음을 증명했습니다. 오픈소스 스타일의 액추에이터 모델링과 임피던스 제어는 휴대용 저비용 텔레프레즌스 로봇 개발을 위한 견고한 기반을 제공합니다. VR 트레드밀 통합 및 하중 하 동적 균형 유지는 향후 핵심 과제가 될 것입니다.