다리형 로봇 보행을 위한 강화학습
비대칭 액터-크리틱 학습은 효과적이지만, 특권 관측과 비특권 관측 사이의 차이가 지나치게 크면 보상 신호만으로 복잡한 행동을 학습하는 액터의 능력이 제한될 수 있다. 최근에는 단일 단계 강화학습 프레임워크 안에 보조 표현 정렬 메커니즘을 도입해 이 문제를 해결하려는 연구가 진행되고 있다.
방법
본 방법은 시뮬레이션과 현실의 차이를 줄이기 위해 비대칭 학습을 활용한다. 크리틱은 고장에 관한 명시적 정보에 접근할 수 있지만, 액터는 고장 정보를 반영한 관측에서 얻은 특권 잠재 표현을 고유수용성 관측의 이력만으로 추정하도록 학습된다. 이렇게 학습된 정책은 50Hz로 작동하며, 로봇의 구동 관절에 대한 위치 목표와 보행 주파수 항을 출력한다.
제안 방법
우리는 고장 허용 보행을 부분 관측 제어 문제로 정식화한다. 학습 중에는 시스템의 전체 상태를 사용할 수 있지만, 실제 배치된 정책은 관측 정보의 일부에만 접근할 수 있다. 이러한 비대칭성 때문에 특권 정보를 활용하는 비대칭 액터-크리틱 프레임워크를 사용한다.
액터와 크리틱 사이의 정보 격차를 줄이기 위해, 학습 과정에서 액터의 잠재 표현이 특권 잠재 표현에 가까워지도록 유도하는 보조 잠재 정렬 목적 함수를 도입한다.
결론
본 연구에서는 구동기 출력 손실 상황에서 고장 허용 보행을 구현하기 위한 심층 강화학습 방법을 제시했다. 이 방법은 비대칭 액터-크리틱 구조와 잠재 표현 정렬 목적 함수를 결합해, 액터가 고유수용성 관측 이력으로부터 특권 정보를 추론할 수 있도록 한다.
핵심적인 설계 요소는 학습 가능한 보행 주파수 행동을 포함한 것이다. 이를 통해 정책이 발걸음의 타이밍을 상황에 맞게 조절할 수 있다. 우리는 더 무거운 사족보행 로봇에서는 가벼운 플랫폼에서 효과적인 빠른 반응형 전략이 제한된 구동 여유와 강한 동적 결합 때문에 그대로 확장되기 어렵다고 본다. 따라서 구동 성능이 저하된 상황에서는 적응형 보행 타이밍이 특히 중요하다. 정책은 지형 정보와 보행 주파수 변조를 함께 활용해, 사전에 정의한 다리 고장 대응 전략이나 지나치게 제약적인 보상 설계 없이도 강인한 보행을 달성한다.
시뮬레이션 결과는 고유수용성 관측 이력과 잠재 정렬의 중요성을 확인해 준다. 68kg급 사족보행 로봇을 대상으로 한 시뮬레이션 간 전이(sim-to-sim)와 제로샷 시뮬레이션-현실 전이(sim-to-real)에서도 일관된 동작이 나타났다. 향후 연구로는 온보드 인식을 통한 지형 재구성, 고장 허용 보행과 낙상 회복 정책의 통합 학습, 그리고 하이브리드 바퀴-다리 시스템에서의 고장 허용성 탐구가 있다.
자주 묻는 질문
이 방법은 어떤 문제를 해결하나요? 구동기 출력 손실을 겪는 사족보행 로봇의 고장 허용 보행 문제를 다룬다.
배치된 환경에서 액터는 어떻게 정보에 접근하나요? 실제 배치된 액터는 고유수용성 관측 이력만 사용한다.
적응형 보행 타이밍은 어떤 역할을 하나요? 학습 가능한 보행 주파수 행동을 통해 정책이 구동 성능이 저하된 상황에서도 발걸음의 타이밍을 조절할 수 있다.
향후 연구로는 무엇이 제안되었나요? 온보드 지형 재구성, 보행과 낙상 회복 정책의 통합, 하이브리드 바퀴-다리 시스템의 고장 허용성 연구 등이 제안되었다.