HORIZON 프로젝트 연구진은 사족 보행 로봇이 훈련 중 붕괴 없이 점점 더 가혹한 물리적 조건에 적응할 수 있도록 하는 커리큘럼 학습 방법을 개발했습니다. 물리적 다양성을 학습 가능한 프런티어로 정리하고, 회복 불가능한 실패를 피하기 위해 롤백 메커니즘을 사용함으로써 HORIZON은 공칭 작동 범위를 훨씬 넘어서는 보행 정책을 생성합니다.
목차
연구진이 만든 것
HORIZON은 온라인 강화 학습을 위한 훈련 프레임워크로, 로봇이 처리할 수 있는 물리적 영역을 시간이 지남에 따라 확장합니다. 핵심 문제는 on-policy RL이 자체 훈련 데이터를 생성한다는 점입니다. 즉, 로봇을 현재 기술 수준에서 너무 먼 조건에 던지면 즉시 실패하고 유용한 학습 신호를 생성하지 못합니다. HORIZON은 물리적 변이를 회복 가능성 프런티어를 가진 구조화된 공간으로 취급하여 이 문제를 해결합니다. 공칭 조건에서 시작하여 페이로드, 지면 마찰, 액추에이터 토크 한계, 외부 교란 등의 축을 따라 더 어려운 범위를 체계적으로 탐색하며, 롤아웃이 회복 불가능해지면 새 프런티어를 확정하거나 롤백합니다. 커리큘럼은 체크포인트를 저장하는 관리자를 사용하여 함께 훈련할 때 강력한 복합 분포 외 강건성을 생성하는 물리적 영역의 콤팩트 집합을 검색합니다. 그 결과 일곱 개의 동시 영역 축에서 극한의 변화를 처리할 수 있는 정책이 생성되며, 이는 단일 범위나 정적 영역 무작위화 접근법보다 훨씬 뛰어납니다.
주요 결과
HORIZON은 물리적 영역 확장이 프런티어가 회복 가능한 경우에만 성공함을 보여줍니다. 롤백 제거 실험에서 전체 HORIZON 커리큘럼은 롤백이 없는 버전과 처음부터 가장 어려운 범위에 노출시키는 '직접 넓은 영역 무작위화' 기준선을 크게 능가합니다. 콤팩트 코어 영역 구성(네 개의 결합된 물리적 축: 행동 권한, 페이로드 이동, 외부 회복, 비대칭 하중)은 전체 일곱 축 커리큘럼보다 더 강력한 복합 OOD 성능을 달성하면서 훈련 계산량이 적습니다. 각 축에 대해 별도의 정책을 훈련하고 오프라인으로 결합하는 다중 전문가 증류는 콤팩트 코어의 공동 on-policy 상호작용을 따라잡지 못합니다. 비용 정규화 비교는 네 축 코어가 훈련 자원과 최종 OOD 강건성 사이에서 최상의 균형을 제공하는 반면, 전체 영역 훈련은 이미 단독으로 강하거나 회복 전이를 방해하는 축에 단계를 낭비함을 보여줍니다.
작동 방식
HORIZON은 각 물리적 영역 축(예: 질량, 마찰, 모터 토크, 초기 자세)을 훈련 중 확장 가능한 연속 범위로 취급합니다. 알고리즘은 활성 범위 집합을 유지하고 주기적으로 각각을 확장하려 시도합니다. 각 프런티어 프로브에 대해 현재 정책을 사용하여 롤아웃 배치를 수집합니다. 정책이 고정된 단계 수 내에서 실패에서 회복할 수 있으면 새 범위가 확정됩니다. 붕괴율이 임계값을 초과하면 프로브는 이전 안전 범위로 롤백되고 증분을 줄여 세분화됩니다.
중요한 통찰은 회복 가능성이 정책에 따라 달라지고 축마다 다르다는 점입니다. 일부 축(예: 지면 마찰)은 빠르게 확장되는 반면, 다른 축(예: 비대칭 페이로드)은 너무 빠르게 확장하면 즉시 균형 실패를 유발합니다. HORIZON의 관리자는 축별 회복률을 추적하고 프런티어 단계 크기를 조정합니다. 그런 다음 콤팩트 코어 검색은 중복이나 간섭 없이 가장 풍부한 회복 학습 신호를 제공하는 물리적 섭동 조합을 식별합니다. 이 코어는 쌍별 회복 가능성 결합을 평가하고 전이가 적거나 쉽게 포화되는 축을 제거하여 발견됩니다.
훈련 파이프라인은 공유 네트워크를 사용하는 PPO 기반 on-policy RL 알고리즘을 사용하며, 커리큘럼 관리자는 비동기적으로 실행되어 각 확정된 프런티어에서 최상의 정책을 체크포인트로 저장합니다. 롤백 메커니즘은 정책이 데이터 품질이 낮은 영역에서 시간을 낭비하지 않도록 하여 샘플 효율성을 높게 유지합니다.
로봇공학에서의 중요성
실제 세계에서 작동해야 하는 모든 로봇, 특히 예측할 수 없는 하중, 지형 및 교란에 직면하는 휴머노이드 로봇이나 창고 로봇의 경우, 훈련 중 물리적 범위를 체계적으로 확장하는 능력이 중요합니다. 현재 관행은 정적 영역 무작위화(낭비적일 수 있음) 또는 사람이 설계한 커리큘럼(노동 집약적)을 사용합니다. HORIZON은 로봇 자체가 다음에 무엇을 학습할 수 있는지 알려줌으로써 이 프로세스를 자동화합니다. 또한 콤팩트 코어 발견은 운영자가 소수의 도전적인 물리적 변이에 대해 단일 정책을 훈련함으로써 철저한 커버리지보다 더 나은 일반화를 달성할 수 있음을 시사합니다. 이는 훈련 시간과 검증에 필요한 물리적 로봇 시간을 모두 줄여줍니다. 롤백 메커니즘은 안전 보장을 제공합니다. 최악의 경우 로봇이 현재 기술 수준을 유지하는 것이지, 재앙적으로 퇴보하지 않는다는 것입니다.
한계 및 미해결 질문
이 방법은 시뮬레이션에서만 사족 보행에 대해 테스트되었으며, 실제 검증은 아직 보고되지 않았습니다. 회복 가능성 임계값과 프런티어 단계 크기는 로봇 플랫폼마다 조정이 필요할 수 있는 하이퍼파라미터입니다. 콤팩트 코어 검색은 모든 쌍별 조합을 훈련한 후 오프라인으로 수행되므로 물리적 축 수가 증가함에 따라 비용이 많이 들 수 있습니다(하지만 논문은 일곱 축까지 확장 가능함을 보여줍니다). 이 방법은 조밀한 보상 피드백(보행 실패 감지가 쉬움)을 가정하며, 희소 보상 작업(예: 조작)으로 확장하려면 회복 불가능한 상태를 감지하기 위한 추가 휴리스틱이 필요합니다. 마지막으로, 동일한 커리큘럼 원칙이 고충실도 액추에이터 모델을 가진 하드웨어 보정 시뮬레이터에 적용되는지는 여전히 미해결 질문입니다.
자주 묻는 질문
HORIZON이 영역 무작위화와 다른 점은 무엇인가요? 영역 무작위화는 모든 물리적 매개변수를 고정된 넓은 분포에서 샘플링하는 반면, HORIZON은 현재 정책이 새로운 조건에서 생존할 수 있는지에 따라 점진적으로 분포를 확장합니다.
이 방법은 모든 RL 알고리즘에서 작동하나요? 저자들은 PPO를 사용하지만, 커리큘럼 관리자는 롤아웃의 회복 가능성을 평가할 수 있다면 기본 RL 알고리즘에 구애받지 않습니다.
콤팩트 코어에 필요한 훈련 에피소드 수는 얼마인가요? 네 축 코어는 전체 일곱 축 커리큘럼과 동일한 OOD 강건성을 달성하면서 총 훈련 에포크의 약 절반이 필요합니다.
배포 후 로봇의 하드웨어가 변경되면 어떻게 되나요? 커리큘럼을 다시 실행해야 하지만, 롤백 메커니즘은 정책이 항상 이전에 안전했던 프런티어로 되돌아갈 수 있도록 보장합니다.
결론
HORIZON은 모든 단계에서 훈련의 회복 가능성을 유지함으로써 온라인 로봇 학습에서 물리적 영역 다양성을 확장하는 원칙적인 방법을 제시합니다. 콤팩트 코어 결과는 다양성이 항상 좋은 것은 아님을 보여줍니다. 신중하게 선별된 물리적 도전 세트가 더 적은 계산으로 더 강력한 일반화를 생성할 수 있습니다. 이 연구는 로봇이 스스로 다음에 어떤 새로운 조건에 도전할 준비가 되었는지 결정할 수 있는 미래를 향한 한 걸음입니다.