인간의 손재주는 시각 이상의 것을 필요로 합니다. 세밀한 촉각 신호를 느끼고 이에 신속히 반응하는 능력이 근본적으로 중요합니다. 얇은 카드를 슬롯에 밀어 넣거나 자물쇠를 열쇠로 여는 것과 같은 일상적인 작업은 인간에게는 쉬운 일이지만, 현재의 로봇 학습 정책에는 여전히 어려운 과제입니다. 이러한 작업을 숙달하려면 촉각 반응형 거동, 즉 기존의 시각 기반 제어 루프보다 훨씬 빠른 촉각 신호에 대한 즉각적인 폐쇄 루프 모터 반응이 필요합니다.
소개
인간의 손재주는 시각 이상의 것을 필요로 합니다. 세밀한 촉각 신호를 느끼고 이에 신속히 반응하는 능력이 근본적으로 중요합니다. 얇은 카드를 슬롯에 밀어 넣거나 자물쇠를 열쇠로 여는 것과 같은 일상적인 작업은 인간에게는 쉬운 일이지만, 현재의 로봇 학습 정책에는 여전히 어려운 과제입니다. 이러한 작업을 숙달하려면 촉각 반응형 거동, 즉 기존의 시각 기반 제어 루프보다 훨씬 빠른 촉각 신호에 대한 즉각적인 폐쇄 루프 모터 반응이 필요합니다.
훈련 방법
T-Rex는 대규모 인간 시각운동 사전 지식을 촉각 반응형 손재주 로봇 제어로 점진적으로 전환하는 3단계 훈련 방법으로 훈련됩니다.
대규모 인간 자기중심 사전 훈련
EgoScale에 따라 잠재 전문가와 행동 전문가를 22,889시간의 자기중심 인간 비디오로 사전 훈련합니다. 잠재 전문가는 머리 관찰에서 시각 및 언어 표현을 학습하고, 행동 전문가는 통합된 행동 공간에서 표현된 재타겟팅된 인간 팔과 손 움직임에 대해 훈련됩니다. 이 단계는 촉각 전문가 없이 손재주 조작을 위한 광범위한 의미적 기반과 시각운동 사전 지식을 제공합니다.
촉각 기반 로봇 중간 훈련
대규모 인간 사전 훈련은 광범위한 시각운동 사전 지식을 제공하지만 로봇이 실행 가능한 접촉 역학에 대한 제한적인 기반만 제공합니다. 우리는 100시간의 원격 조작 양손 조작 데이터와 동기화된 촉각 신호를 사용하여 이 격차를 메웁니다. 데이터는 다양한 모터 프리미티브와 객체 상호 작용으로 구성되어 접촉이 많은 거동을 간결하게 포함합니다. 이 단계는 행동 전문가를 로봇의 다중 뷰 관찰과 실행 가능한 행동에 적응시키고, 촉각 전문가를 훈련하여 세밀한 개선을 위한 고주파 노이즈 제거를 수행합니다.
기술별 후속 훈련
촉각 기반 중간 훈련 후 T-Rex는 이미 제로샷 접촉이 많은 조작 능력을 보여줍니다. 더 복잡하거나 작업별 기술의 경우 약 100개의 작업 시연에 대해 모델을 추가로 미세 조정하여 중간 훈련 중에 습득한 촉각 반응형 거동을 유지하면서 특정 작업 요구 사항에 적응할 수 있도록 합니다.
실험 설정
평가 프로토콜 및 지표
모든 방법을 부록 F에 정의된 12가지 촉각 반응형 작업에 대해 평가합니다. 각 작업에 대해 16회 시행을 테스트하며, 객체 위치와 회전은 시행마다 무작위화됩니다. 평균 작업 성공률을 보고하며, 다단계 작업의 경우 진행 기반 루브릭을 사용하여 부분 완료를 포착합니다. 결과는 시행별로 평균을 낸 후 작업별로 평균을 냅니다.
결론
우리는 기본 조작 정책이 확장 가능한 촉각 반응형 손재주 제어를 달성할 수 있도록 합니다. 비동기 촉각 개선 및 동적 촉각 VAE 인코딩을 활용하는 Mixture-of-Transformer-Experts (MoT) 모델인 T-Rex를 소개합니다. 우리의 프레임워크는 일반 인간 비디오 사전 훈련을 활용하고, 새로 기여한 오픈소스 100시간 촉각 동기화 손재주 조작 데이터세트에 대한 중간 훈련을 거칩니다. 12가지 실제 촉각 반응형 작업에 대해 후속 훈련 및 평가된 T-Rex는 기존의 손재주 및 촉각 인식 VLA 기준선보다 평균 성공률 30%를 능가하고 데이터 효율성을 크게 향상시킵니다.
한계 및 향후 연구
T-Rex는 강력한 성능과 데이터 효율성을 보여주지만, 여러 향후 연구 방향을 제시합니다. 첫째, 정밀한 접촉 조정과 엄격한 공차가 필요한 장기 작업의 경우 원격 조작이 어려우므로, 향후 연구는 강화 학습이나 온라인 상호 작용 기반 개선을 통합할 수 있습니다. 둘째, 촉각 반응형 조작은 센서 왜곡, 장치 간 보정 드리프트, 전손 조작을 위한 조밀한 손바닥 감지 부재 등 하드웨어에 의해 여전히 병목 현상이 발생합니다. 향후 연구는 이기종 촉각 센서 간의 통일된 표현과 더 풍부한 전손 촉각 하드웨어를 탐구할 수 있습니다.
Panasonic의 Yusuke Kato님께 T-Rex 데이터세트의 일부 수집에 기여해 주셔서 감사드립니다. UC Berkeley 저자들은 Berkeley Artificial Intelligence Research Humanoid Intelligence Center (BAIR HIC)의 지원을 받았습니다. Sapienza University는 Panasonic과 Sapienza 교부금 RG123188B3EF6A80 (CENTS)의 자금 지원을 받았습니다. Alessio Sampieri와 Luca Franco (ItalAI S.r.l.)님께 유익한 논의에 감사드립니다.
자주 묻는 질문
T-Rex는 기존 로봇 조작 정책과 어떻게 다른가요? T-Rex는 Mixture-of-Transformer-Experts 모델을 사용하여 기존의 시각 기반 루프보다 빠르게 촉각 신호를 처리하는 촉각 반응형 제어를 사용하여 실시간 접촉이 많은 조작을 가능하게 합니다.
T-Rex에는 얼마나 많은 훈련 데이터가 필요한가요? T-Rex는 3단계 훈련 방법을 사용합니다: 사전 훈련용 22,889시간의 자기중심 인간 비디오, 중간 훈련용 촉각 신호가 포함된 100시간의 원격 조작 양손 데이터, 기술별 미세 조정용 약 100개의 작업 시연입니다.
T-Rex는 어떤 유형의 작업을 수행할 수 있나요? T-Rex는 정밀 삽입, 열쇠 돌리기, 카드 밀기 등 모두 세밀한 촉각 피드백과 빠른 모터 반응이 필요한 12가지 촉각 반응형 작업에 대해 평가되었습니다.
촉각 반응형 조작의 주요 한계는 무엇인가요? 주요 한계로는 센서 왜곡, 장치 간 보정 드리프트, 전손 조작을 위한 조밀한 손바닥 감지 부재가 있으며, 이는 향후 연구에서 해결하고자 합니다.