최근 연구에서는 인간형 리타겟팅 파이프라인을 정교한 손에 적용하는 방법을 탐구했지만, 결과는 대부분 시뮬레이션이나 시뮬레이션 동작의 개방형 재생에 국한되었습니다. 이러한 실제 성공이 제한적인 이유 중 하나는 단순한 기구학적 리타겟팅이 인간 손의 자세는 잘 맞추지만 손-물체 상호작용을 무시하고 물리적으로 타당하지 않은 궤적을 생성하여 하류 RL에 좋은 참조가 되지 못하기 때문이라는 가설이 있습니다. 이는 자연스러운 질문을 제기합니다: 리타겟팅 중 상호작용을 보존하는 것이 접촉이 많은 정교한 조작을 위한 RL을 개선하는가?
우리의 기여는 다음과 같습니다:
- 단일 인간 시연으로 정교한 조작을 학습하기 위한 일반적이고 미니멀한 프레임워크를 제안합니다. 코드와 데이터를 공개하여 커뮤니티가 결과를 재현하고 우리의 연구를 기반으로 구축할 수 있도록 합니다.
- RL 정책을 다양한 궤적에 노출시켜 강건성과 일반화를 향상시키는 간단하면서도 효과적인 데이터 증강 전략을 적용합니다.
- 도전적인 접촉이 많은 정교한 조작 작업에서 우리의 방법을 평가하고, 특히 상호작용을 보존하는 모션 리타겟팅의 가치를 강조하며 기존 방법보다 우수한 성능을 입증합니다.
리타겟팅 유도 강화학습 프레임워크
제안된 프레임워크인 Regrind는 세 단계로 구성됩니다. 첫째, 단일 인간 시연을 모션 캡처 장갑과 물체 추적기를 사용하여 캡처합니다. 둘째, 인간 손 동작을 물리 기반 최적화를 통해 손-물체 상호작용을 보존하면서 로봇 손으로 리타겟팅합니다. 셋째, 강화학습 정책을 훈련하여 리타겟팅된 궤적을 추적하며, 훈련 중 데이터 증강을 적용하여 강건성을 향상시킵니다.
상호작용 보존 모션 리타겟팅
핵심 혁신은 상호작용을 보존하는 리타겟팅 단계입니다. 단순히 인간 관절 각도를 로봇 관절 각도에 매핑하는 대신, 인간 시연에서 관찰된 손과 물체 사이의 공간적 관계를 유지하도록 로봇 궤적을 최적화합니다. 이를 통해 접촉이 많은 상호작용이 보존되어 하류 RL 훈련을 위한 물리적으로 타당한 참조 궤적이 생성됩니다.
리타겟팅 목적 함수는 세 가지 항목의 균형을 맞춥니다: 인간 손 자세를 일치시키는 기구학적 항, 손-물체 공간 관계를 보존하는 상호작용 항, 로봇을 관절 한계 내에 유지하고 자체 충돌을 방지하는 정규화 항입니다.
강건한 정책 학습을 위한 데이터 증강
RL 훈련 중에는 궤적 수준의 데이터 증강을 적용하여 정책을 다양한 초기 상태와 물체 구성에 노출시킵니다. 여기에는 초기 물체 자세 무작위화, 참조 궤적에 노이즈 추가, 로봇 초기 관절 위치 섭동 등이 포함됩니다. 이 간단한 증강 전략은 정책이 다양한 시작 조건과 실제 역학에 일반화하는 능력을 크게 향상시킵니다.
실험 평가
우리는 다음과 같은 핵심 질문에 답하기 위해 실험을 설계했습니다:
- 상호작용 보존 리타겟팅이 리타겟팅 충실도를 개선하는가?
- 리타겟팅 중 상호작용 보존이 하류 RL 성능을 향상시키는가?
- Regrind로 훈련된 정책이 실제 역학으로 전이될 수 있는가?
- 정책이 다른 초기 상태에서 시연을 재현할 수 있는가?
실험 설정
평가 지표. 정책 성능을 평가하기 위해 다음 두 가지 지표를 사용합니다:
- 물체 추적 오차 (Err.): 현재 물체 키포인트 위치와 목표 물체 키포인트 위치 간의 평균 거리.
- 성공률 (SR): 전체 시도 횟수 대비 성공적인 시도 횟수의 비율.
기준선. 우리는 인간 시연에서 정교한 조작을 학습하기 위한 두 가지 대표적인 기준선과 방법을 비교합니다:
- SPIDER: 동적으로 실행 가능한 로봇 궤적을 생성하는 물리 기반 리타겟팅 방법. 리타겟팅된 궤적은 개방형 정책으로 실행되거나 하류 RL을 위한 참조 동작으로 사용될 수 있습니다.
- DexMachina: 기구학적으로 리타겟팅된 로봇 궤적을 추적하도록 RL 정책을 훈련하지만, 리타겟팅 과정에서 로봇-물체 상호작용 의미론을 고려하지 않습니다.
또한, 미분 역기구학(Mink 사용)을 사용하여 인간 동작을 로봇으로 리타겟팅한 후 동일한 설정으로 RL 정책을 훈련하는 간단한 기준선인 Mink IK + RL과 비교합니다.
결과
우리의 방법은 여러 접촉이 많은 정교한 조작 작업에서 모든 기준선을 일관되게 능가합니다. 상호작용 보존 리타겟팅은 기구학적 리타겟팅 접근법에 비해 현저히 낮은 물체 추적 오차와 높은 성공률을 가져옵니다. Regrind로 훈련된 정책은 또한 성공적인 시뮬레이션-실제 전이를 보여주며, 실제 하드웨어에 배포될 때 높은 성공률을 유지합니다.
한계
우리는 리타겟팅 기반 학습이 정교한 조작에 대해 낙관적이며, 도전적인 작업에서 유망한 결과를 입증하고 접촉이 많은 조작에서 시뮬레이션-실제 전이의 과제에 대한 이해를 높였습니다. 동시에 몇 가지 한계가 남아 있습니다. 첫째, 우리의 방법은 배포 시 물체 상태를 얻기 위해 모션 캡처에 의존합니다. 상태 기반 RL 정책을 비전 기반 정책으로 증류하는 것은 시스템을 실제 환경에 더 적용 가능하게 만드는 자연스러운 다음 단계입니다. 둘째, 우리의 파이프라인은 여전히 시뮬레이션-실제 전이를 가능하게 하기 위해 신중한 시스템 식별이 필요합니다. 유망한 방향은 실제 세계와의 상호작용에서 추론된 컨텍스트를 사용하여 테스트 시간에 정책을 적응시키는 것입니다.
이 프로젝트는 해군성, 해군 연구실(ONR award number N00014-25-1-2086)의 지원을 일부 받았습니다. 모델 훈련은 코넬 대학의 Unicorn 공유 컴퓨팅 클러스터를 사용하여 수행되었습니다. Yunhai Feng은 모션 캡처 프로토타이핑에 대한 PoRTaL Lab의 지원, 모션 캡처 인프라에 대한 Paige Yun의 도움, 그리고 유용한 기술 논의에 대한 Praxis Lab의 Samuel Jin 및 다른 멤버들에게 감사드립니다.
자주 묻는 질문
상호작용 보존 리타겟팅이 표준 기구학적 리타겟팅과 다른 점은 무엇인가요? 표준 기구학적 리타겟팅은 관절 각도만 일치시키는 반면, 상호작용 보존 리타겟팅은 손과 물체 사이의 공간적 관계를 유지하여 인간 시연의 접촉이 많은 상호작용이 보존되도록 합니다.
정책을 훈련하는 데 몇 개의 인간 시연이 필요한가요? 프레임워크는 정교한 조작 정책을 훈련하는 데 단 하나의 인간 시연만 필요하므로 데이터 효율성이 매우 높습니다.
학습된 정책이 실제 로봇 하드웨어로 전이될 수 있나요? 네, 논문은 Regrind로 훈련된 정책의 성공적인 시뮬레이션-실제 전이를 입증하며, 상호작용 보존 리타겟팅이 실제 배포에 적합한 물리적으로 타당한 궤적을 생성함을 보여줍니다.
이 방법이 처리할 수 있는 정교한 조작 작업 유형은 무엇인가요? 이 방법은 물체 재배치 및 손 내 조작과 같이 정밀한 손가락 협응과 힘 제어가 필요한 도전적인 접촉이 많은 작업에서 평가되었습니다.