본 논문에서는 인간형 로봇의 키포인트 트래킹에 명시적이며 테스트 시점에 제어 가능한 접촉 레이블을 추가한 프레임워크인 ContactMimic을 제안합니다. 키포인트 구조는 공유하지만 접촉 명령이 다른 짝을 이루는 모션 데이터로 단일 정책을 훈련하고, 접촉 인식 보상으로 지도하여, 로봇이 명령에 따라 물리적 접촉을 만들거나 억제하도록 학습합니다. 시뮬레이션과 실제 Unitree G1 로봇에서 다양한 인간-물체 상호작용 모션을 통해, 정책은 명령된 접촉을 따르며, 유사한 트래킹 정확도에서 접촉 지표 기준 키포인트 전용 베이스라인을 능가하고, 고유 감각만으로 실행 중 접촉 상태를 인코딩합니다.
도입
두 번째 질문과 관련하여, 우리는 접촉 데이터를 정책 훈련에 두 가지 방식으로 사용합니다. 첫째, 접촉 명령을 정책에 주입합니다. 둘째, 정책이 명령된 접촉 패턴을 따르도록 장려하는 보상을 포함합니다: 참조와 실제 신체-물체 부위 접촉 간의 일치도를 측정하는 접촉 레이블 일치 보상, 그리고 참조 레이블에 기반해 관련 신체 부위를 물체 표면으로 (또는 멀어지게) 유도하는 접촉 거리 보상입니다.
키포인트와 접촉 간 상관관계를 깨기 위한 모션 쌍 생성
제안된 접촉 및 키포인트 트래커는 훈련을 위해 시간 단계별 키포인트와 접촉 레이블이 포함된 참조 궤적이 필요합니다. 우리는 인간 MoCap 데이터에서 이러한 접촉 레이블이 쌍을 이룬 키포인트 궤적을 추출합니다. 기존 연구는 키포인트만 추출하지만, 우리는 이를 확장하여 접촉 정보도 추출합니다. 실험에서 보듯이, 이 데이터만으로 훈련하면 키포인트 패턴과 접촉 간의 상관관계로 인해 좋은 접촉 제어가 이루어지지 않습니다. 따라서 진정한 접촉 제어를 달성하기 위해, 이러한 상관관계를 깨는 증강 전략을 제안합니다.
증강된 궤적. 각 리타겟팅된 클립에 대해, 전체 모션 구조는 유지하지만 작업 관련 접촉(예: 상자 들기 작업에서 손목-상자 접촉)에 대한 키포인트 위치와 접촉 레이블 간 상관관계를 깨는 여러 증강을 합성합니다.
실험 설정
우리는 Isaac Lab에서 PhysX 강체 시뮬레이션으로 Unitree G1 인간형 로봇(29 자유도)을 사용합니다. 각 환경에는 모션에 따라 고정되거나 자유로운 하나의 상호작용 물체가 포함됩니다.
모션 데이터셋. HUMOTO 데이터셋의 다양한 인간-물체 상호작용 범주를 아우르는 10개의 모션 클립으로 훈련합니다.
실험
다양한 인간-물체 상호작용 모션에 걸친 실험은 5가지 주요 질문에 답하고자 합니다: 우리의 정책이 명령된 접촉 조건을 따르는가? 접촉 제어가 실제 환경으로 전이되는가? 키포인트 제어만으로 충분한가, 아니면 최신 키포인트 트래킹 베이스라인이 이미 정확한 물리적 접촉을 생성하는가? 데이터 엔지니어링 전략이 접촉 제어 학습에 필요한가? 정책의 내부 표현이 고유 감각 관측만으로 실제 실행 중 접촉 상태를 어느 정도 인코딩하는가?
정책 표현이 실행 중 접촉 상태를 인코딩함
대부분의 로봇에는 전신 접촉 센서가 없기 때문에, 우리는 정책 입력으로 다양한 로봇 신체 부위의 실제 실행 중 접촉 상태를 요구하지 않기로 결정했습니다. 그 이유 중 일부는 접촉 상태가 고유 감각을 통해 추론될 수 있기 때문입니다. 우리는 정책 입력과 정책의 중간 표현에 대한 선형 프로브의 접촉 상태 예측 정확도를 계산하여 이를 정량적으로 평가합니다.
결과. 원시 관측과 Layer 2 표현 모두에서 F1 점수가 매우 높으며, 우연 수준(즉, 접촉이 있는 시간 단계 수) 및 참조 레이블 자체보다 훨씬 높습니다. 따라서 추론 시 명시적 접촉 감지를 받지 못함에도 불구하고, 정책은 로봇의 실행 중 접촉 상태를 인식하고 명령된 접촉 상태를 충족하도록 행동을 조정할 수 있습니다.
토론 및 한계
우리는 인간형 로봇의 키포인트 트래킹에 명시적이며 테스트 시점에 제어 가능한 접촉 레이블을 추가한 프레임워크인 ContactMimic을 제시했습니다. 키포인트 구조는 공유하지만 접촉 명령이 다른 짝을 이루는 모션 데이터로 단일 정책을 훈련하고, 접촉 인식 보상으로 지도하여, 로봇이 명령에 따라 물리적 접촉을 만들거나 억제하도록 학습합니다. 시뮬레이션과 실제 Unitree G1 로봇에서 다양한 인간-물체 상호작용 모션을 통해, 정책은 명령된 접촉을 따르며, 유사한 트래킹 정확도에서 접촉 지표 기준 키포인트 전용 베이스라인을 능가하고, 고유 감각만으로 실행 중 접촉 상태를 인코딩합니다. 우리는 명시적 접촉 조건화가 접촉이 풍부한 작업을 표현하기 위한 간단하고 일반적인 인터페이스이며, 우연히가 아니라 의도적으로 세계와 상호작용하는 인간형 로봇을 위한 한 걸음이라고 믿습니다.
우리의 접근법에는 몇 가지 한계가 있습니다. 첫째, 단일 범용 접촉 조건화 트래커 대신 각 모션에 대해 별도의 정책을 훈련합니다. 모션 전반에 걸쳐 접촉 조건화 정책을 공동 훈련하는 것이 자연스러운 다음 단계일 것입니다. 둘째, HUMOTO 데이터셋의 고품질 인간-물체 상호작용 데이터에 기반하여 현재 다룰 수 있는 상호작용의 다양성이 제한됩니다. 대신 실제 환경 비디오 데이터를 사용할 수 있는 방법을 개발하는 것이 도움이 될 수 있습니다. 마지막으로, 실제 환경 평가는 단일 로봇에서 5가지 모션에 국한되며, 더 넓은 하드웨어 검증은 향후 과제입니다.
자주 묻는 질문
ContactMimic은 물리적 접촉 센서 없이 어떻게 접촉을 제어하나요? 정책은 고유 감각 관측만으로 실행 중 접촉 상태를 추론하는 법을 학습하며, 내부 표현에서 접촉 레이블을 예측할 때 높은 F1 점수를 달성합니다.
어떤 증강 전략이 키포인트와 접촉 간 상관관계를 깨나요? 각 리타겟팅된 모션 클립에 대해, 전체 모션 구조는 유지하지만 작업 관련 신체 부위와 물체 표면의 접촉 레이블을 변경하는 여러 증강이 합성됩니다.
평가에 사용된 로봇 하드웨어는 무엇인가요? Unitree G1 인간형 로봇(29 자유도)이 Isaac Lab 시뮬레이션과 실제 실험 모두에서 사용되었습니다.
ContactMimic은 모션당 하나의 정책이 필요한가요, 아니면 단일 범용 정책인가요? 현재는 각 모션에 대해 별도의 정책이 훈련되며, 모든 모션에 걸친 단일 범용 접촉 조건화 트래커 훈련은 향후 과제로 식별되었습니다.