접촉이 많은 조작은 로봇 조작의 핵심적이면서도 지속적인 난제로, 실용적 배치에 필수적입니다. 자유 공간 조작과 달리 이러한 작업은 변형, 압력, 미끄러짐, 마찰 등 국부적 상호작용 상태에 의존합니다. 이러한 상태는 시각적 관찰에서 종종 약하게 보이거나 일시적이거나 가려져 있어, 실행 중 촉각 정보에 기반한 조정이 필요할 때 시각 중심 정책은 신뢰할 수 없습니다.
이 문제를 해결하기 위한 핵심 통찰은 행동 예측을 촉각 진화와 결합하여, 접촉 단계에서 정책이 촉각 변화를 활용할 수 있도록 하는 것입니다. 최근 세계 행동 모델(WAM)은 행동 예측과 비디오 예측을 결합하여 세계 역학을 예측하는 능력을 제공합니다. 세계 행동 모델을 기반으로, 우리는 VT-WAM을 제안합니다. VT-WAM은 통합된 흐름 매칭 프레임워크 내에서 미래 시각 예측, 촉각 변형 예측, 행동 예측을 공동으로 학습하는 시각-촉각 세계 행동 모델입니다.
특히, VT-WAM은 촉각 역학을 행동 예측에 유용하게 만드는 두 가지 핵심 모듈을 가지고 있습니다. 비대칭 MoT 어텐션은 행동 토큰을 장면 컨텍스트를 위한 첫 프레임 시각 앵커와 접촉 진화를 위한 전체 촉각 시퀀스로 라우팅합니다. 이를 통해 접촉 단계에 필요한 촉각 역학을 버리지 않고 시각 캐시 추론 모드를 가능하게 합니다. 접촉 게이트 AVTAG는 접촉 단계에서 행동 쿼리가 촉각 증거에 주의를 기울이도록 장려하는 학습 전용 힌지 랭킹 손실을 적용하여 시각 지배 편향을 더욱 줄입니다. 이 보조 지침은 추론 시간 아키텍처를 변경하지 않고, 접촉 정보가 물리적으로 유용할 때 모델이 촉각 역학에 더 의존하도록 합니다.
우리는 여섯 가지 실제 접촉이 많은 작업(표면 상호작용 및 제한된 삽입 영역 포함)에서 VT-WAM을 평가합니다. VT-WAM은 71.67%의 성공률을 달성하며 기준선인 Fast-WAM을 26.67% 능가합니다. 촉각 역학 모델링 방법과 어텐션 지침에 대한 상세한 절제 연구는 접촉이 많은 작업에서 핵심 설계의 효과성을 입증합니다.
주요 기여
- 공동 시각-촉각-행동 흐름 매칭을 통해 촉각 변형 역학과 행동 예측을 결합하는 VT-WAM을 정식화합니다.
- 비대칭 MoT 어텐션과 AVTAG를 도입하여 시각 앵커, 시간적 촉각 역학, 접촉 단계 촉각 지침을 가능하게 합니다.
- 여섯 가지 실제 작업에서 VT-WAM을 검증하여 평균 성공률 71.67%, Fast-WAM 대비 26.67% 향상; 절제 연구로 두 설계를 확인합니다.
실험
이 섹션에서는 먼저 로봇 플랫폼, 구현 세부 사항, 기준선, 벤치마크 작업, 평가 지표를 포함한 실험 설정을 설명합니다. 그런 다음 여섯 가지 접촉이 많은 조작 작업에서 VT-WAM을 평가하고, 시각-촉각 예측 품질을 분석하며, 주요 구성 요소의 기여도를 정량화하기 위해 절제 연구를 수행합니다.
주요 결과
표 I은 여섯 가지 접촉이 많은 작업에서의 성능을 보여줍니다. VT-WAM은 평가된 모든 방법 중 가장 높은 성공률을 달성합니다. 가장 강력한 기준선인 Fast-WAM과 비교하여 VT-WAM은 성공률을 45.00%에서 71.67%로 향상시켜 절대 26.67%의 개선을 보입니다.
제한된 삽입 작업에서 성공은 지속적인 표면 적용보다는 미세한 정렬에 달려 있습니다. 삽입 플러그, 카드 긁기, 튜브 삽입 작업에서 VT-WAM은 61.67%의 성공률을 달성한 반면, OmniVTLA는 38.33%, Fast-WAM은 33.33%였습니다. 이 결과는 로봇이 좁은 기하학적 제약 하에서 작은 자세 오류를 수정해야 할 때 촉각 역학도 유용함을 시사합니다. 특히 튜브 삽입 작업에서 투명 튜브로 인해 시각적 정렬이 신뢰할 수 없고 성공적인 실행에 접촉 정보에 기반한 수정이 필요할 때 개선이 두드러집니다. 표면 상호작용 결과와 함께, 이는 촉각 변형 역학과 행동 예측의 결합이 접촉이 많은 작업에서 성공률을 향상시킴을 보여줍니다.
결론
우리는 접촉이 많은 조작을 위한 시각-촉각 세계 행동 모델인 VT-WAM을 소개합니다. VT-WAM은 촉각 관찰을 보조 정책 입력으로만 사용하는 대신, 행동 예측과 함께 시간적 상호작용 역학으로 촉각 변형을 학습함으로써 세계 행동 모델을 확장합니다. 표면 상호작용 및 제한된 삽입 작업에 걸친 실제 실험은 VT-WAM이 시각 전용 및 촉각 입력 기준선보다 지속적으로 개선됨을 보여주며, 촉각 예측 분석 및 절제 연구는 촉각 역학 모델링과 접촉 단계 촉각 사용의 중요성을 추가로 뒷받침합니다. 이러한 결과는 촉각 변형을 상호작용 역학으로 모델링하는 것이 접촉이 많은 작업에서 행동 예측을 개선하는 효과적인 방법을 제공함을 나타냅니다. 이 연구는 정밀한 촉각 모델링을 위한 개별 작업 특화에 초점을 맞추지만, 다중 작업 훈련은 아직 탐구되지 않았습니다. 다중 작업 훈련 및 스케일링 법칙에 대한 미래 연구는 유망한 방향입니다.
자주 묻는 질문
VT-WAM은 표준 시각 전용 세계 모델과 어떻게 다른가요? VT-WAM은 촉각 데이터를 보조 정책 입력으로만 사용하는 대신, 시각 및 행동 예측과 함께 촉각 변형 역학을 공동으로 학습하여 접촉 단계의 촉각 변화를 더 신뢰할 수 있는 행동 예측에 활용할 수 있습니다.
촉각 역학을 행동 예측에 유용하게 만드는 두 가지 핵심 모듈은 무엇인가요? 비대칭 MoT 어텐션은 행동 토큰을 시각 앵커와 전체 촉각 시퀀스로 라우팅하고, 접촉 게이트 AVTAG는 접촉 단계에서 촉각 증거에 주의를 기울이도록 장려하는 학습 전용 힌지 랭킹 손실을 적용합니다.
VT-WAM은 어떤 실제 작업에서 평가되었나요? VT-WAM은 표면 상호작용 및 제한된 삽입 영역을 포함한 여섯 가지 접촉이 많은 작업(삽입 플러그, 카드 긁기, 튜브 삽입 등)에서 평가되었습니다.
기준선 대비 주요 성능 개선은 무엇인가요? VT-WAM은 모든 작업에서 평균 성공률 71.67%를 달성하여 가장 강력한 기준선 Fast-WAM보다 26.67% 절대 개선되었습니다.