본 연구에서는 사족보행 로봇이 발을 이용해 물체를 조작하는 능력, 즉 페디퓰레이션(pedipulation)을 가능하게 하는 계층적 강화학습 프레임워크를 제시합니다. 중간 수준 표현으로 어포던스(affordances)를 사용하여 물체와 상호작용할 위치와 방법을 식별함으로써, 이 방법은 값비싼 전신 운동 계획의 필요성을 줄이고 다양한 물체와 지형에서 일반화 성능을 향상시킵니다.
서론
다리 달린 로봇은 전통적으로 보행에 초점을 맞추었고, 조작 작업은 고정 베이스의 팔에 맡겨졌습니다. 페디퓰레이션은 발로 물체를 조작하는 것으로, 기동성을 희생하지 않고 사족보행 로봇이 환경과 상호작용할 수 있는 자연스러운 방법을 제공합니다. 그러나 기존 접근 방식은 로봇-물체 동역학에 대한 정밀한 모델링이 필요하며 시뮬레이션에서 실제 환경으로의 전환에 실패하는 경우가 많습니다.
어포던스 기반 접근법
우리는 두 수준에서 작동하는 계층적 강화학습 아키텍처를 도입합니다. 상위 정책은 밀기-왼쪽, 밀기-오른쪽, 당기기와 같은 어포던스를 선택하고, 하위 정책은 해당 상호작용을 위한 정확한 발 궤적을 학습합니다. 어포던스는 상호작용 데이터로 훈련된 심층 신경망을 사용하여 식별되는 특정 동작을 가능하게 하는 물체 표면의 영역으로 정의됩니다.
학습 프레임워크
상위 정책은 로봇의 상태와 물체의 자세를 입력으로 받아 대기, 밀기-왼쪽, 밀기-오른쪽, 당기기-왼쪽, 당기기-오른쪽의 다섯 가지 상호작용 모드 중 하나에 해당하는 범주형 행동을 출력합니다. 그런 다음 하위 정책은 해당 모드를 실행하기 위한 관절 수준의 모터 명령을 생성합니다. 이 두 수준 구조를 통해 시스템은 학습된 하위 기술을 다양한 물체와 환경 조건에서 재사용할 수 있습니다.
시뮬레이션 결과
우리는 다양한 물체 유형(상자, 원기둥, 불규칙한 모양)과 표면 마찰 조건에서 시뮬레이션을 통해 방법을 평가했습니다. 어포던스 기반 접근 방식은 고정된 상호작용 지점을 사용한 기준 방법의 62%에 비해 87%의 작업 성공률을 달성했으며, 수렴에 필요한 훈련 단계 수는 40% 적었습니다.
실제 환경 전환
시뮬레이션-실제 전환을 검증하기 위해 우리는 학습된 정책을 Unitree Go1 사족보행 로봇에 배포했습니다. 로봇은 카펫, 타일, 콘크리트 등 다양한 바닥 표면에서 최대 1.5kg 무게의 물체를 성공적으로 이동시켰습니다. 시뮬레이션-실제 성공률은 73%였으며, 대부분의 실패는 모델링되지 않은 마찰 동역학과 지면 불규칙성에 기인했습니다.
대안과의 비교
우리의 계층적 접근 방식은 효과적인 조작 전략을 발견하는 데 어려움을 겪은 비계층적 강화학습 방법과 정밀한 물체 추적이 필요하고 폐색 시 실패하는 모델 기반 제어기라는 두 가지 기준 방법보다 성능이 뛰어났습니다. 어포던스 기반 방법은 물체 자세 추정치가 최대 5cm의 잡음으로 손상된 경우에도 강건한 성능을 유지했습니다.
실험
기존 페디퓰레이션 연구는 공개적으로 제공되지 않으므로, 우리는 다양한 조건에서 접근 방식의 효과를 평가하기 위해 벤치마킹을 수행했습니다. 먼저 다양한 상호작용 방향에 따른 물리적 상호작용당 변위를 비교하고, 시뮬레이션에서 장애물 표면의 적절한 접촉점 선택의 이점을 입증했습니다. 그런 다음 실제 환경 실험으로 확장하여 비이상적 작동 조건에서 시뮬레이션-실제 전환 성능과 전체 파이프라인의 효과를 평가했습니다.
결론
향후 연구로는 수집된 상호작용 데이터를 활용하여 물체 중심 표현을 학습하고, 이를 통해 다운스트림 조작 및 현장에서의 물체 활용을 개선하는 것을 목표로 합니다.
자주 묻는 질문
어포던스 기반 접근 방식은 표준 강화학습 기반 페디퓰레이션과 어떻게 다른가요? 단일 모놀리식 정책을 학습하는 대신, 우리 방법은 상위 정책이 상호작용 모드를 선택하고 하위 정책이 발 궤적을 실행하는 계층 구조를 사용하여 학습을 더 빠르게 하고 물체 간 전이를 가능하게 합니다.
로봇이 조작할 수 있는 물체 유형은 무엇인가요? 시스템은 카펫, 타일, 콘크리트 등 다양한 바닥 표면에서 최대 1.5kg 무게의 상자, 원기둥, 불규칙한 모양의 물체로 테스트되었습니다.
시뮬레이션에서 실제 환경으로의 전환은 얼마나 잘 작동하나요? 73%의 시뮬레이션-실제 성공률을 달성했으며, 대부분의 실패는 근본적인 정책 오류보다는 모델링되지 않은 마찰 동역학과 지면 불규칙성에 기인했습니다.
미리 계산된 상호작용 지점 대신 어포던스를 사용하는 이유는 무엇인가요? 어포던스를 통해 로봇은 물체 표면의 최적 접촉점을 동적으로 선택할 수 있으며, 고정된 상호작용 지점의 62%에 비해 87%의 작업 성공률을 달성하고 더 적은 훈련 단계를 사용합니다.