HANDOFF라는 새로운 전신 제어 프레임워크는 세 가지 특화된 전문가 정책—이동, 전신 조작, 낙상 회복—을 하나의 학생 제어기로 융합하여, 휴머노이드 로봇이 작업 간 재학습 없이 사용할 수 있게 합니다. 10차원의 간결한 작업공간 명령 인터페이스를 제공함으로써, HANDOFF는 고수준 플래너가 손목 및 베이스 속도 참조만으로 다양한 이동-조작 행동을 구동할 수 있게 하여, 전신 관절 궤적의 필요성을 대체합니다.
목차
연구진이 구축한 것
연구진은 작업 지정과 관절 공간 실행을 분리하는 휴머노이드 전신 제어기 HANDOFF를 구축했습니다. 핵심은 10차원 작업공간 인터페이스로, 각 팔의 3차원 골반 프레임 손목 위치 명령(총 6차원)과 네 가지 속도 성분(선형 x/y, 요 레이트, 몸통 높이 레이트)을 입력받습니다. 이 저차원 인터페이스는 동시 이동 및 조작을 인코딩할 만큼 표현력이 풍부하면서도, 고수준 플래너(예: 대규모 언어 모델 또는 유한 상태 기계)가 수십 개의 관절 각도를 출력할 필요 없이 구동할 수 있을 만큼 작습니다.
제어기를 훈련하기 위해 팀은 전문가 혼합 증류 접근법을 사용했습니다. 먼저 세 가지 교사 정책을 훈련했습니다: 정밀 조작 및 자세를 위한 전신 제어(WBC) 교사, 민첩한 베이스 추적을 위한 이동 교사, AMP 기반 낙상 회복 교사. 단일 학생 정책은 컨텍스트 기반 KL 발산을 통해 세 가지 모두로부터 학습하며, 속도 게이트가 몸체에 대해 WBC와 이동 교사를 혼합하고, 팔 동작은 WBC 교사에 고정됩니다. 회복 마스크 항은 낙상 시나리오를 세 번째 전문가로 라우팅합니다.
주요 결과
HANDOFF는 최첨단 이동 제어기와 유사한 속도 추적 성능을 달성하면서 동시에 전신 조작을 가능하게 합니다—이는 이전의 단일 교사 증류로는 깔끔하게 생성할 수 없었던 능력입니다. 논문은 다음을 보고합니다:
- 몸체 슬라이스 추적은 선형 및 각속도 명령에서 최고의 단일 이동 교사와 일치합니다.
- 팔 추적은 베이스 안정성을 저하시키지 않으면서 작업 공간 내 목표 지점에 도달하는 WBC 교사의 능력을 유지합니다.
- 낙상 회복은 큰 교란 하에서 성공적으로 활성화되어 작업 중단 없이 직립 자세를 복원합니다.
시뮬레이션 및 실제 로봇 하드웨어 롤아웃에서, 제어기는 비연결 에이전트 스택에 배포되었으며, 비전-언어 모델이 자연어 명령을 10차원 인터페이스로 해석했습니다. 로봇은 물체로 걸어가서 손을 뻗어 잡고 운반하는 등의 작업을 수행했으며, 작업별 제어기 재학습이 필요 없었습니다. 제어기의 간결한 인터페이스는 또한 새로운 고수준 플래너로의 제로샷 전이를 가능하게 합니다.
작동 원리
HANDOFF의 아키텍처는 두 단계 파이프라인입니다: 고수준 에이전트 플래너가 10차원 명령을 생성하고, 증류된 학생 정책이 이를 관절 토크로 매핑합니다. 학생은 세 명의 전문가 혼합—WBC, 이동, 낙상 회복—이며, 이들의 기여도는 학습된 라우터에 의해 게이트됩니다.
교사 설계 - WBC 교사: 모델 예측 제어 사전을 사용하여 전신 자세와 팔 끝단 추적을 최적화합니다. 조작에는 뛰어나지만 속도 추적이 좋지 않습니다. - 이동 교사: 베이스 속도 명령(선형 x/y, 요)을 추적하도록 훈련된 강화 학습 정책입니다. 민첩한 보행을 실행하지만 팔의 협력 사용을 잃습니다. - 낙상 회복 교사: 빠른 관절 토크를 사용하여 낙상을 잡는 적대적 동작 사전(AMP) 정책입니다.
학생 증류 학생은 단계별 컨텍스트 종속 KL 손실로 훈련됩니다. 라우터는 현재 상태와 컨텍스트 벡터(속도 크기 + 회복 플래그)를 관찰하여 혼합을 결정합니다: - 몸체 슬라이스: 학습된 게이팅 네트워크에 의해 가중된 WBC와 이동 교사의 볼록 혼합. - 팔 슬라이스: 조작 정밀도를 유지하기 위해 WBC 교사에만 고정. - 회복 마스크: 낙상 경향 샘플에서 게이트는 이진 AMP 마스크를 통해 완전히 낙상 회복 전문가로 전환.
부분 인식 부하 균형 손실은 전문가 붕괴를 방지합니다: 비회복 샘플에서는 게이트가 WBC와 이동 전문가에 대해 재정규화되고 균일하게 밀어집니다. 회복 전문가는 이 항에서 제외되고 별도로 감독됩니다.
배포 런타임에서 플래너는 50Hz로 10차원 벡터를 방출합니다. 학생 정책은 200Hz로 실행되며 관절 토크를 액추에이터로 직접 보냅니다. 운동학적 보정(3.5절)은 인터페이스의 3D 손목 목표가 그리퍼 자세를 완전히 구속하지 않을 때 도구 프레임 방향 오차를 보상합니다.
벤치마크 표는 포함되지 않았습니다. 논문은 속도 추적 오차나 조작 성공률에 대한 절대 수치 없이 상대적 비교("최첨단과 일치")를 제공하기 때문입니다.
로봇 공학에서의 의의
HANDOFF는 다리 달린 조작의 근본적인 병목 현상인 고수준 계획과 저수준 전신 제어의 분리를 해결합니다. 대부분의 휴머노이드 제어기는 팔을 고정 질량으로 취급하거나(조작 희생), 플래너가 관절 공간 목표를 출력하도록 요구합니다(일반 AI 에이전트에게 비현실적).
10차원 작업공간 인터페이스를 제공함으로써 HANDOFF는 다음을 가능하게 합니다: - 플래너 유연성: 손목 위치와 베이스 속도를 계산할 수 있는 모든 플래너(비전-언어 모델, 고전적 모션 플래너, 계층적 강화 학습)가 로봇의 관절 한계나 동역학을 알 필요 없이 명령할 수 있습니다. - 제로샷 작업 전환: 동일한 제어기가 걷기, 운반, 손 뻗기, 낙상 회복을 처리합니다; 작업별 재학습이나 보상 튜닝이 필요 없습니다. - 비연결 배포: 실제 로봇 스택은 전적으로 온보드에서 실행되며, 플래너가 카메라 이미지를 처리하고 50Hz로 10차원 명령을 출력합니다.
로봇 구매자와 통합 엔지니어에게 이는 Robot Overflow에서 휴머노이드 로봇 둘러보기에서 제공되는 휴머노이드가 작업당 힘든 모션 계획 대신 간단한 고수준 스크립트로 프로그래밍될 수 있음을 의미합니다. 이는 다리 달린 조작을 플러그 앤 플레이 사용성에 더 가깝게 만듭니다.
한계 및 미해결 질문
현재 인터페이스는 팔당 3D 손목 위치만 노출(골반 프레임)하며, 전체 6D 그리퍼 자세는 아닙니다. 이는 방향 잔차를 처리하기 위해 런타임 운동학적 보정을 강제하며, 이는 페그-인-홀 삽입과 같은 작업의 정밀도를 제한할 수 있습니다. 저자들은 6D 추적으로 확장하는 것이 향후 작업이라고 언급합니다.
또한, 모션 데이터 큐레이션 파이프라인(부록 C.1)은 압력 중심 타당성 검사를 사용하여 궤적 클립의 오프라인 필터링을 필요로 합니다. 이 단계는 시뮬레이션 정확도에 민감할 수 있으며, 새로운 로봇 형태로 이식할 때 재조정이 필요할 수 있습니다. 낙상 회복 교사 또한 모션 데이터셋의 품질에 의존하는 별도의 AMP 사전에 의존합니다.
마지막으로, 제시된 에이전트 플래너는 하나의 구현일 뿐입니다. 논문은 플래너 지연 시간이나 잡음이 있는 명령으로 인해 성능이 어떻게 저하되는지 탐구하지 않습니다. 드물거나 간헐적인 명령 스트림에 대한 강건성은 여전히 미해결 질문입니다.
자주 묻는 질문
10차원 명령 인터페이스는 정확히 무엇인가요? 두 개의 3차원 골반 프레임 손목 목표 위치(팔당 하나)와 네 가지 베이스 속도 성분(선형 x, 선형 y, 요 레이트, 몸통 높이 레이트)으로 구성됩니다.
HANDOFF는 새로운 작업에 재학습이 필요한가요? 아니요. 제어기는 작업 무관입니다; 동일한 증류된 정책이 이동, 조작, 낙상 회복을 처리합니다. 새로운 행동을 위해서는 고수준 플래너만 업데이트하면 됩니다.
실제 세계 테스트에 어떤 로봇 하드웨어가 사용되었나요? 논문은 다리당 12개의 구동 관절과 팔당 7 자유도를 가진 전신 휴머노이드 로봇에서 비연결로 작동하는 실험을 보여줍니다.
HANDOFF는 종단간 전신 제어와 어떻게 비교되나요? 센서 입력을 관절 토크로 직접 매핑하는 종단간 정책과 달리, HANDOFF는 저차원 인터페이스를 통해 계획과 제어를 분리하여 제어기를 다양한 플래너와 구성 가능하게 하고 디버깅을 더 쉽게 만듭니다.
결론
HANDOFF는 증류된 전문가 혼합 학생이 이동, 조작, 낙상 회복을 간결한 작업공간 인터페이스 아래 통합할 수 있음을 보여줍니다. 이 설계는 휴머노이드 로봇이 제어기 재학습 없이 작업을 전환할 수 있게 하여, 추상적 명령을 따를 수 있는 실용적인 다리 달린 조작기에 더 가까워지게 합니다.