HEFT는 새로운 원격조작 프레임워크로, VR 장비를 착용한 인간 조작자가 명령하는 복잡한 전신 동작을 따라하면서 전신 휴머노이드 로봇이 양손에 최대 24kg까지 들 수 있게 합니다. 이 시스템은 휴머노이드 원격조작에서 오랫동안 지속된 두 가지 과제, 즉 잡음이 섞인 조작자 입력과 자세에 따라 변화하는 가변적인 페이로드 난이도를 해결합니다.
목차
연구진이 구축한 것
연구팀은 HEFT(Heavy-payload Full-size Humanoid Teleoperation)를 구축했습니다. 이는 175cm, 65kg의 29개 관절 구동 휴머노이드 로봇 L7에서 실행되는 제어 프레임워크입니다. 이 시스템은 VR 컨트롤러를 착용한 인간으로부터 실시간 명령을 받아, 무거운 짐을 나르면서 로봇이 그 동작을 모방하도록 구동합니다.
이를 가능하게 하는 두 가지 핵심 혁신이 있습니다. 첫째, Privileged Motion Guidance (PMG)는 훈련 중 거친 VR 입력을 깨끗하고 물리적으로 실현 가능한 기준 동작(교사 정책이 접근 가능하지만 배치된 학생 정책은 절대 필요로 하지 않음)과 비교하여 학습할 수 있게 합니다. 둘째, Windowed Payload Curriculum (WPC)는 동작 시퀀스를 짧은 윈도우로 나누고, 각 윈도우에 대해 전문가 시뮬레이터를 사용하여 최대 안전 페이로드를 결정합니다. 로봇의 제어 정책은 윈도우별로 달라지는 하중에 대해 훈련되어, 작업별 운반 컨트롤러 없이도 동작의 여러 단계에서 다양한 무게를 처리하는 방법을 학습합니다.
결과는 단일 정책이 회전, 전/후진 보행, 스쿼트와 같은 적재된 보행을 실제 양손 페이로드 최대 24kg까지, 기성 VR 장비를 통해 인간 조작자가 구동하는 동안 수행할 수 있다는 것입니다.
주요 결과
HEFT는 시뮬레이션과 실제 L7 하드웨어 모두에서 평가되었습니다. 하드웨어에서 로봇은 양손 페이로드 최대 24kg을 운반하면서 회전, 전/후진 보행, 스쿼트를 포함한 동적 동작을 성공적으로 수행했습니다. 이는 전신 휴머노이드로서는 중요한 성과로, 대부분의 이전 연구는 훨씬 가벼운 하중을 처리하거나 동작 유형 간 일반화할 수 없는 작업별 컨트롤러를 사용합니다.
시뮬레이션에서 팀은 L7 플랫폼과 더 작은 G1 로봇 모두에서 테스트하여 이전 접근법과 비교했습니다. 주요 발견:
- PMG는 원시 참조 드리프트를 줄임: 조작자의 VR 추적이 드리프트할 때(예: 폐색 또는 캘리브레이션 오류로 인해), PMG 훈련 정책은 원시 VR 참조에 직접 훈련된 정책보다 의도된 동작을 훨씬 더 가깝게 추적합니다.
- WPC는 높은 페이로드 용량을 확장: 전역 고정 페이로드 상한과 비교하여 윈도우 커리큘럼은 최대 실현 가능 페이로드를 증가시킵니다. WPC로 훈련된 정책은 이를 허용하는 동작 단계에서 더 무거운 하중을 운반할 수 있으면서도 비적재 동작에서는 잘 수행합니다.
- 단일 정책 효율성: HEFT는 운반 작업과 비운반 작업을 위한 별도의 컨트롤러가 필요 없으며, 하나의 훈련된 정책이 비적재 및 중적재 작업을 모두 처리합니다.
시뮬레이션에서 정량적 비교 결과, HEFT는 PMG 없이 훈련된 기준선(더 높은 추적 오차) 및 균일 페이로드 스케줄로 훈련된 기준선(무거운 하중에서 낮은 성공률)보다 성능이 뛰어났습니다.
작동 원리
HEFT는 교사-학생 훈련 아키텍처를 사용합니다. 훈련 중 교사 정책은 특권 정보에 접근할 수 있습니다: VR 조작자의 동작(잡음이 많은 원시 데이터가 아닌)의 물리적으로 재구성된 버전, 각 시간 윈도우에 대한 전문가 계산 페이로드 상한, 손목에 가해지는 실제 페이로드 힘. 교사는 원시 VR 입력을 관절 토크에 직접 매핑하는 방법을 배우지만, 깨끗한 참조의 안내를 받습니다.
그런 다음 학생 정책은 이러한 특권 없이 교사의 행동을 모방하도록 훈련됩니다. 어댑터 네트워크는 학생의 입력만으로 교사의 잠재 상태를 예측합니다. 배치 시, 학생과 어댑터만 로봇에서 실행됩니다—재구성, 페이로드 상한, 시뮬레이터가 필요 없습니다.
페이로드 커리큘럼 상세: 전문가(전체 상태 정보를 가진 참조 추적 정책)는 손목에 하향 힘을 5kg 단계로 증가시키면서 30kg부터 아래로 테스트하여 로봇을 전개합니다. 각 짧은 윈도우(예: 회전 또는 스쿼트 중)에 대해 전문가는 로봇이 넘어지지 않고 물리적으로 견딜 수 있는 최대 하중을 찾습니다. 그런 다음 이 상한을 사용하여 학생을 훈련합니다: 하중은 해당 상한 내에서 윈도우별로 샘플링되며, 분수는 두 손목 사이에 무작위로 분할되고 수직에서 12° 원뿔 내에서 적용됩니다.
로봇의 고유수용성 입력(관절 위치, 속도, IMU 등)과 원시 VR 참조는 교사와 학생 모두에게 공급됩니다. 교사는 추가로 재구성된 참조, 윈도우 상한 및 페이로드 상태에 조건화됩니다. 학생은 자체 잠재 상태(어댑터에서 제공)와 원시 VR 입력에만 의존합니다. 훈련은 세 단계로 진행됩니다: PMG 및 WPC 하에서 교사 PPO 최적화, 어댑터로 잠재 증류, 어댑터 예측 잠재를 롤아웃하면서 학생 미세 조정.
로봇공학에 중요한 이유
이 연구는 휴머노이드 로봇공학의 중요한 격차, 즉 무거운 물체를 들고 유용한 작업을 수행하는 전신 로봇을 원격조작할 수 있는 능력을 직접적으로 해결합니다. 현재 대부분의 휴머노이드 원격조작 시스템은 조작자가 가벼운 도구만 들도록 요구하거나 다양한 동작을 처리할 수 없는 작업별 컨트롤러에 의존합니다. HEFT는 단일 학습 정책이 적재된 보행, 회전 및 스쿼트에 필요한 전신 조정을 관리할 수 있음을 보여줍니다.
창고, 건설 또는 재난 대응 응용 분야에서 이는 휴머노이드 로봇을 원격으로 제어하여 상자, 장비 또는 파편을 들고 이동할 수 있게 하는 실용적인 단계입니다. 또한 이 접근법은 조작자가 값비싼 모션 캡처 슈트 없이 저렴한 VR 헤드셋을 사용할 수 있으며 시스템이 여전히 안정적으로 작동함을 의미합니다.
최대 24kg(대형 디스플레이 케이스 또는 무거운 공구 상자 무게 정도)의 페이로드를 처리함으로써 HEFT는 휴머노이드가 단지 정교한 조작기 이상일 수 있음을 입증합니다: 이동식 하중 운반체가 될 수 있습니다. 이는 고정된 베이스의 중고 협동 로봇이 부족하고 원격조작이 인간에게 고수준 의사 결정을 제공하는 작업의 문을 엽니다.
한계점 및 미해결 문제
HEFT는 여전히 오프라인 처리가 필요합니다: VR 참조 동작은 물리적으로 재구성되어야 하고, 전문가는 페이로드 상한을 레이블링해야 합니다—두 단계 모두 시간과 계산이 필요합니다. 이 방법을 새 로봇이나 다른 트래커 설정으로 전송하려면 이 데이터 준비 파이프라인을 다시 실행해야 합니다.
페이로드 모델은 단순화되었습니다: 손목에 수직 힘만 적용하고 그립, 물체 형상, 미끄러짐 또는 환경과의 접촉을 모델링하지 않습니다. 실제 작업에서 상자는 잡기 어렵거나 표면에 기댈 수 있습니다.
하드웨어 검증은 하나의 전신 플랫폼(L7)으로 제한되었습니다. 다른 휴머노이드에서 테스트하면 프레임워크가 얼마나 잘 일반화되는지 알 수 있습니다. 마지막으로, 이 접근법은 아직 구조화되지 않은 야외 환경이나 보이지 않는 물체 형상에서 입증되지 않았습니다.
자주 묻는 질문
HEFT가 처리할 수 있는 무게는 얼마입니까? 걷기, 회전, 스쿼트와 같은 동작에서 양손에 최대 24kg까지 분산하여 들 수 있습니다.
인간 조작자에게 특별한 장비가 필요합니까? 아니요, 표준 VR 컨트롤러만 있으면 됩니다. 시스템은 값비싼 모션 캡처 슈트 없이 원시 VR 추적의 잡음을 처리하는 방법을 학습합니다.
HEFT는 상업적 사용이 가능합니까? 프레임워크는 실험실 환경에서 하나의 로봇 플랫폼에서 검증되었습니다. 상용 배포를 위해서는 다른 로봇 및 환경에서 추가 테스트와 안전 시스템 통합이 필요합니다.
HEFT가 페이로드 커리큘럼 없이 작동할 수 있습니까? 가능하지만 무거운 하중에서 성능이 저하됩니다. 윈도우 커리큘럼은 로봇이 이를 허용하는 동작 단계에서 더 많은 무게를 운반하면서 다른 단계에서 민첩성을 유지할 수 있게 합니다.
결론
HEFT는 단일 정책이 전신 휴머노이드가 인간의 전신 동작을 모방하면서 상당한 페이로드(최대 24kg)를 운반할 수 있음을 증명합니다. 특권 동작 안내와 동작 적응형 페이로드 커리큘럼의 조합은 작업별 컨트롤러나 값비싼 하드웨어 없이 이를 가능하게 합니다.