세계 모델(World Model)은 로봇이 환경이 어떻게 변화하는지에 대한 예측 표현을 학습할 수 있게 하며, 최근의 세계 행동 모델(World Action Model, WAM)은 이러한 예측 학습을 로봇 제어를 위한 행동 생성과 결합합니다. 그러나 대부분의 WAM은 여전히 주로 시각적 상태 전이를 통해 미래를 모델링합니다. 시각적 예측은 장면 레이아웃, 객체 외형, 가시적 움직임을 포착하지만, 물리적 조작은 이미지에 간접적으로만 표현되는 국소 역학에 크게 의존합니다. 접촉이 많은 작업의 경우, 장면이 어떻게 보이는지 학습하는 것만으로는 충분하지 않습니다. 모델은 힘과 변형과 같은 촉각 신호가 상호작용 중에 어떻게 변화하는지도 포착해야 합니다.
기존의 시각-촉각 방법은 관측 융합, 표현 학습, 정책 개선, 미래 촉각 예측에 촉각을 사용했습니다. 이러한 연구는 촉각이 조작을 개선할 수 있고 미래 촉각 예측이 유용할 수 있음을 보여줍니다. 이러한 방향을 바탕으로, 우리는 촉각 WAM에 대한 보완적 요구 사항에 초점을 맞춥니다: 미래 촉각 상태는 물리적으로 유용한 감독을 제공해야 하지만, 행동 생성은 배포 시 사용 가능한 정보에만 제한되어야 합니다. 이를 통해 촉각 미래가 직접적인 행동 입력으로 사용되지 않으면서 세계 모델 훈련을 풍부하게 할 수 있습니다.
기여
- 우리는 최근 촉각 이력과 미래 촉각 예측으로 시각 WAM 훈련을 확장하여, 현재 촉각 관측을 넘어 접촉 변화로부터 학습할 수 있는 TacWAM을 소개합니다.
- 우리는 촉각 외형, 힘, 변형을 공유 잠재 표현으로 매핑하면서 국소 접촉 패턴과 전역 힘/토크 정보를 보존하는 공간 정렬 융합 촉각 인코더를 개발합니다.
- 우리는 훈련 중에 행동 분기가 미래 시각적 또는 촉각적 목표에 접근하는 것을 방지하여, 행동 생성이 배포 시 사용 가능한 정보만 사용하도록 보장하는 앵커 기반 삼중 모달 어텐션을 제안합니다.
- 우리는 네 가지 실제 접촉이 많은 조작 작업에서 TacWAM을 평가합니다. TacWAM은 대표적인 시각 전용 및 시각-촉각 기준 모델을 일관되게 능가하며, 단계적 절제 실험은 완전한 프레임워크에서 촉각 이력과 제한된 미래 목표 가시성의 중요성을 뒷받침합니다.
시각-촉각 및 예측 촉각 학습
TacWAM은 촉각 예측 자체를 주요 참신성으로 취급하지 않고, 더 넓은 시각-촉각 학습 방향에 기반을 둡니다. 촉각 미래가 어떻게 표현되고 WAM 훈련 내에서 어떻게 사용되는지에 초점을 맞춥니다: SAF 인코더와 촉각 이력은 힘과 변형 변화 예측을 지원하며, AGT 어텐션은 미래 감각 목표가 행동 생성에 직접 입력되지 않도록 합니다.
TacWAM 개요
TacWAM은 시각, 촉각, 행동 스트림을 갖춘 단일 삼중 모달 WAM 생성기를 중심으로 구축됩니다. 이 생성기 위에 TacWAM은 세 가지 촉각 특화 설계를 도입합니다. 첫째, SAF 촉각 인코더는 동기화된 촉각 외형, 힘, 변형 흐름 신호를 공유 촉각 잠재 공간으로 매핑하여 미래 촉각 예측 목표를 정의합니다. 둘째, 촉각 이력 인코더는 현재 청크 이전의 최근 촉각 변화를 요약하고 접촉 단계 맥락으로 촉각 예측 분기를 조건화합니다. 셋째, AGT 어텐션은 시각, 촉각, 행동 스트림 간의 정보 토폴로지를 지정하여 미래 감각 예측 목표가 행동 토큰에 직접 접근되지 않도록 합니다.
세 스트림은 Mixture-of-Transformers 백본에서 공동으로 구현되며, 시각, 촉각, 행동 스트림은 모달리티별 전문가에 의해 처리되고 마스킹된 혼합 자기 어텐션을 통해 통신합니다. AGT는 시각, 촉각, 행동 토큰 간의 혼합 자기 어텐션을 제어하며, 작업 언어와 현재 고유수용감각은 전문가 교차 어텐션을 통해 배포 가능한 맥락으로 별도로 제공됩니다. 최종 AGT 마스크 하에서 미래 촉각 예측은 행동 조건화된 결과 모델이 아닌 병렬 예측 목표입니다: 행동 스트림은 배포 가능한 시각 및 촉각 앵커, 작업/고유수용감각 맥락, 행동 토큰 상호작용을 사용하는 반면, 미래 촉각 상태는 훈련 중 힘과 변형 변화에 대한 예측 감독을 제공합니다.
공간 정렬 융합(SAF) 촉각 인코더
TacWAM은 촉각 인코더와 촉각 재구성기를 사용하여 촉각 잠재 예측 공간을 정의합니다. 각 촉각 관측은 두 그리퍼 측 촉각 센서의 동기화된 신호를 포함하며, 입력은 보정된 촉각 이미지, 밀집 국소 힘 필드, 메시 변형 흐름입니다. 이 세 입력은 촉각 센서 표면에 공간적으로 등록되고 단계별 촉각 표현으로 융합됩니다.
결과적으로 힘/토크는 네 번째 공간 입력이 아닌 전역 역학 감독으로 처리됩니다. TacWAM은 이기종 촉각 센서 스트림을 직접 생성하는 대신 미래 촉각 잠재 상태를 예측합니다. 재구성 목표는 잠재 상태가 국소 힘, 변형, 양측 힘/토크 정보를 보존하도록 장려합니다.
촉각 이력 변조 예측
단일 프레임의 촉각은 종종 모호합니다. 동일한 힘 크기는 최근 상호작용 궤적에 따라 안정적인 접촉, 증가하는 압력, 미끄러짐 회복, 또는 임박한 객체 손상에 해당할 수 있습니다. 따라서 TacWAM은 현재 청크 이전의 최근 촉각 이력을 요약합니다.
출력은 컴팩트한 청크 수준의 촉각 맥락입니다. 이는 추가 메모리 토큰으로 삽입되지 않습니다. 대신 적응형 정규화를 통해 촉각 전문가를 변조하여 미래 촉각 예측이 현재 상호작용 단계와 촉각 진화 추세를 명확히 구분하도록 돕습니다. 이력 맥락은 행동 스트림에 직접 특권 입력이 아닙니다.
이 설계는 촉각 예측의 역할을 변경합니다. TacWAM은 촉각 예측을 분리된 사후 헤드로 부착하지 않습니다. 대신 미래 촉각 상태를 다중 모달 생성 목표에 통합하여 공동 훈련된 WAM이 시각적 감독만으로는 포착할 수 없는 접촉 관련 촉각 진화를 인코딩하도록 장려합니다.
실험
우리는 다음 연구 질문을 통해 TacWAM을 평가합니다:
- RQ1: TacWAM은 접촉이 많은 조작에서 시각 전용 및 시각-촉각 기준 모델과 어떻게 비교됩니까?
- RQ2: 촉각 이력이 TacWAM 내에서 미래 힘 예측과 단계 의존적 접촉 조작을 개선합니까?
- RQ3: AGT 정보 제약은 완화된 어텐션 마스크와 비교하여 배포 성능에 어떤 영향을 미칩니까?
자주 묻는 질문
TacWAM과 기존 세계 행동 모델의 핵심 차이점은 무엇인가요?
TacWAM은 최근 촉각 이력과 미래 촉각 예측을 추가하여 시각적 상태 전이만이 아닌 힘과 변형의 변화로부터 학습할 수 있게 합니다.
공간 정렬 융합 촉각 인코더는 어떻게 작동하나요?
촉각 외형, 힘, 변형 흐름 신호를 재구성 목표를 통해 국소 접촉 패턴과 전역 힘/토크 정보를 보존하면서 공유 잠재 공간으로 매핑합니다.
왜 TacWAM은 행동 분기가 미래 감각 목표에 접근하는 것을 방지하나요?
배포 시 행동 생성이 그 시점에 사용 가능한 정보만 사용하도록 보장하여 미래 촉각 상태를 직접적인 행동 입력이 아닌 예측 감독으로 유지하기 위해서입니다.
TacWAM을 평가하는 데 사용된 작업은 무엇인가요?
TacWAM은 네 가지 실제 접촉이 많은 조작 작업에서 평가되었으며, 모든 작업에서 시각 전용 및 시각-촉각 기준 모델을 일관되게 능가했습니다.