DeCAL은 접촉이 빈번한 조작 작업에서 촉각 신호를 효과적으로 활용할 수 있도록 설계된 물리 기반 손재주 비전-언어-행동 모델이다. DeCAL은 이해, 상상, 행동 생성을 담당하는 세 개의 협력 전문가로 구성된 Mixture-of-Transformers 아키텍처를 사용한다. 세 전문가는 공동 어텐션을 통해 방향성 있는 지식 공유를 수행하며, 일관되고 정밀한 손재주 조작을 암묵적으로 유도한다. 또한 접촉 인지 게이팅 전략을 통해 촉각 정보를 동적으로 주입하는 적응형 시각-촉각 융합 메커니즘을 사용함으로써, 물리적 상호작용 중 촉각 단서를 선택적으로 강조한다. 시각-촉각 잠재 공동 상상은 미래 지향적 잠재 상상을 통해 시각-촉각 동역학을 함께 모델링하고, 정책에 암묵적인 세계 지식을 부여한다.
다양한 접촉 중심 손재주 조작 작업을 대상으로 광범위한 실제 환경 실험을 수행해 DeCAL을 평가했다. DeCAL은 일관되게 최신 성능을 달성했으며, 가장 강력한 베이스라인보다 평균 성공률이 15% 이상 높았다. 또한 행동 청크당 평균 추론 지연 시간이 0.27초로, 실시간 환경에서도 효율적인 성능을 유지했다. 절제 연구를 통해 제안된 각 구성 요소의 효과를 검증했으며, 손재주 조작에서 촉각 정보를 효과적으로 활용할 가능성을 확인했다.
주요 기여는 다음과 같다.
- DeCAL은 이해, 생성, 행동을 하나로 통합해 효과적인 시각-촉각 표현 학습을 가능하게 하는 손재주 Vision-Tactile-Language-Action 프레임워크다.
- 적응형 시각-촉각 융합과 시각-촉각 잠재 공동 상상은 접촉이 빈번하고 정밀한 손재주 조작을 가능하게 한다.
- 다양한 실제 환경 실험을 통해 제안 방법의 효과와 일반화 성능을 입증했다.
로봇 시스템 구성
시스템은 6자유도 UR5 로봇 팔 2대와 22자유도 SharpaWave 오지 손재주 핸드 2개로 구성된다. 시각 관측은 손목 장착 카메라 2대와 1인칭 카메라 1대를 통해 수집하며, 모두 Intel RealSense D435를 사용한다.
각 손끝에는 Sharpa가 개발한 고해상도 비전 기반 촉각 센서가 장착되어 있어 조작 중 접촉 동역학을 정밀하게 인식한다. 각 센서 내부에 내장된 카메라는 물리적 상호작용 중 탄성 표면의 변형을 촬영한다.
원시 촉각 이미지와 시각-촉각 처리 알고리즘을 바탕으로 촉각 신호는 다음 세 가지 상호 보완적 형태로 표현된다.
원시 이미지
원시 촉각 관측은 각 시각-촉각 센서 내부의 카메라로 직접 촬영하며, 접촉 패턴과 탄성 표면의 변형을 기록한다.
순힘
각 손끝은 3축 힘과 토크로 구성된 6자유도 힘 표현을 출력한다. 힘 신호는 사전 학습된 회귀 모델을 사용해 원시 촉각 관측으로부터 추정하며, 이를 통해 힘을 고려한 촉각 인식을 수행한다.
변형 맵
각 손끝은 변환 모델을 통해 2D 이미지 형태로 표현되는 변형 깊이 맵을 출력한다. 각 픽셀은 촉각 표면의 국소 변형 깊이를 나타내므로, 접촉 형상에 관한 정밀한 정보를 제공한다.
모델 아키텍처
DeCAL은 장면 이해, 시각-촉각 동역학 예측, 행동 생성을 하나의 통합 프레임워크 안에서 결합하는 Mixture-of-Transformers 아키텍처를 채택한다. 이 프레임워크는 세 개의 특화된 트랜스포머 전문가로 구성된다.
이해 전문가
이해 전문가는 멀티모달 이해 능력을 위해 Qwen3-VL을 기반으로 구축되었다. 언어 지시와 여러 시점의 시각 관측이 주어지면, 입력을 먼저 텍스트 토큰과 시각 토큰으로 인코딩한다. 이후 트랜스포머 블록이 이를 처리해 문맥 임베딩을 생성하며, 이 임베딩은 마스킹된 셀프 어텐션을 통해 다음 단계의 전문가들과 공유된다.
전용 크로스 어텐션 메커니즘을 통해 멀티모달 입력을 촉각 관측으로 확장한다. 촉각 특징은 키와 값으로 사용하고, 시각-언어 특징은 쿼리로 사용한다. 이렇게 얻은 표현은 셀프 어텐션 특징과 잔차 방식으로 융합되어, 하나의 통합된 잠재 공간에서 시각·언어·촉각 관측을 함께 추론할 수 있게 한다.
생성 전문가
생성 전문가는 과거 상호작용으로부터 미래의 시각 및 촉각 관측을 예측해 시각-촉각 동역학을 명시적으로 모델링한다. 이를 통해 물리적으로 정합된 멀티모달 세계 표현을 형성하고, 이후 행동 생성을 유도한다.
최근 비디오 생성 모델은 시각 예측에서 큰 발전을 이루었지만, 접촉이 빈번한 조작에 생성 모델을 직접 적용하는 일은 여전히 어렵다. 고주파 로봇 제어에는 엄격한 실시간 요구 조건이 있기 때문이다. DeCAL은 미래 시각-촉각 생성을 위해 병렬 디코딩 전략을 채택한다. 이 비자기회귀 방식은 미래의 시각-촉각 상호작용을 효과적으로 모델링하면서 계산 효율도 높인다.
적응형 시각-촉각 융합
촉각 특징 추출
풍부한 접촉 형상 정보를 제공하는 다중 손가락 변형 맵을 촉각 입력으로 사용한다. 공유 ResNet 기반 촉각 인코더가 모든 손끝의 촉각 특징을 추출한다. 추출된 특징은 공간 풀링을 거쳐 촉각 토큰으로 투영되며, 이후 트랜스포머 계층을 통해 융합되어 손가락 간 상호작용과 전역 접촉 패턴을 포착한다.
촉각 인코더는 다음 두 가지 상호 보완적 표현을 생성한다.
- 국소 촉각 토큰: 시각-촉각 상호작용에 필요한 세밀한 접촉 정보를 보존한다.
- 전역 촉각 토큰: 전체 접촉 상태를 요약해 접촉 인지 촉각 게이팅에 사용한다.
적응형 시각-촉각 크로스 어텐션
촉각 피드백을 시각-언어 임베딩에 통합하기 위해 각 트랜스포머 블록에 크로스 어텐션 메커니즘을 도입한다. 국소 촉각 토큰은 키와 값으로 사용하고, 트랜스포머 입력의 접두사 투영값은 쿼리로 사용한다.
융합 결과는 잔차 연결을 통해 해당 블록의 공동 셀프 어텐션에서 얻은 임베딩에 더해진다. 이를 통해 모델은 기존 멀티모달 문맥을 보존하면서 촉각 단서를 통합할 수 있다.
접촉 인지 게이팅 메커니즘
손재주 조작에서 물리적 접촉은 지속적으로 발생하기보다 특정 작업 단계에서 간헐적으로 나타나는 경우가 많다. 촉각 신호를 항상 정책에 직접 주입하면 행동 생성에 편향이 생기고 시각적 주의 분포가 흐트러질 수 있다.
접촉 인지 게이팅 메커니즘은 각 시점에서 접촉 정보의 관련성을 바탕으로 촉각 입력의 가중치를 정책이 적응적으로 조절하도록 한다.
게이트 출력은 학습된 접촉 관련성 신호에 따라 촉각 정보의 가중치를 조정한 뒤 멀티모달 표현에 통합해 계산한다.
시각-촉각 잠재 공동 상상
생성 전문가는 미래 지향적 잠재 상상을 수행해 시각-촉각 동역학을 함께 모델링한다. 과거 및 현재의 시각-촉각 관측이 주어지면, 모델은 상호작용의 기저 물리 동역학을 포착하는 예측 잠재 표현을 생성한다.
촉각 잠재 예측
6자유도 접촉력은 접촉 동역학을 간결하면서도 물리적으로 의미 있게 표현하며, 힘의 크기와 토크 정보를 모두 담는다. 촉각 잠재 예측을 위해 각 손끝의 힘을 먼저 전용 힘 인코더로 임베딩으로 변환한 뒤, 정책이 이를 처리해 촉각 잠재 표현을 생성한다.
생성된 잠재 표현은 이후 원시 이미지, 변형 맵, 6자유도 힘 벡터 등 서로 다른 세부 수준의 표현으로 디코딩할 수 있다. 이러한 표현은 여러 관점에서 촉각 동역학을 포착해 물리 기반 장면 이해와 행동 생성을 지원한다.
학습 중에는 미래 시각 관측을 인코딩한 Cosmos VAE 타깃을 향해 예측된 시각 잠재 표현을 직접 회귀한다. 현재의 6자유도 힘을 조건으로 하는 촉각 잠재 표현은 미래 원시 촉각 이미지, 변형 맵, 6자유도 힘을 복원하는 방식으로 간접 감독한다.
추론 시 생성 전문가는 미래 시각 및 촉각 잠재 표현을 함께 예측해 행동 생성을 위한 미래 지향적 문맥을 제공한다. 추론 과정에서는 복원 디코더를 제외해 불필요한 픽셀 공간 복원을 방지한다.
추론 파이프라인
추론 과정에서 DeCAL은 여러 시점의 시각 관측, 언어 지시, 촉각 입력을 접두사 토큰과 중간 토큰으로 임베딩한 뒤 이해 전문가와 생성 전문가가 이를 처리한다.
접두사 토큰은 문맥 표현을 생성하고 이를 키-값 캐시에 저장하므로, 이후 계산에서 앞선 모든 문맥에 효율적으로 어텐션할 수 있다. 예측된 시각-촉각 미래 예측을 포함한 중간 임베딩은 이 캐시 상태와 통합되어 작업 이해와 시각-촉각 동역학을 함께 포착하는 잠재 표현을 형성한다.
마지막으로 현재 상태와 캐시된 문맥을 조건으로 인수분해 플로 매칭을 통해 행동을 반복적으로 생성한다. NVIDIA RTX 4090 GPU 한 대에서 실행할 때 DeCAL의 행동 청크당 평균 추론 지연 시간은 0.27초로, 실시간 손재주 조작에 적합한 효율적인 추론 성능을 보인다.
보충 생성 결과
생성된 미래 촉각 변형 맵은 보충 실험 결과에서 시각화했다. 생성된 촉각 관측은 세밀한 변형을 완벽하게 복원하지 못하고 국소 구조가 일부 손실되기도 하지만, 접촉과 관련된 정보는 성공적으로 보존한다.
특히 높은 응답을 보이는 영역은 일관되게 손끝과 물체가 접촉하는 영역에 해당하며, 미래 접촉 상태를 파악하는 데 유용한 표현을 제공한다. 이는 모델이 촉각 상호작용의 기저 변화를 포착하며, 그 정보만으로도 이후 행동 생성을 유도하기에 충분하다는 것을 시사한다.
보충 일반화 분석
일반화 실험에서는 다음 네 가지 유형의 미관측 시나리오에서 모델을 평가한다.
- 미관측 배경
- 미관측 조명 조건
- 복잡한 장면
- 미관측 물체
앞의 세 설정은 주로 환경 수준의 변화를 도입하는 반면, 미관측 물체 설정은 물체 수준의 분포 변화를 유발한다.
DECO와 ViTacFormer는 학습 중 무작위 이미지 증강을 사용하므로, 배경 변화, 조명 변화, 중간 수준의 장면 복잡도와 같은 시각적 변화에 대한 강건성이 향상된다.
결론
DeCAL은 접촉이 빈번한 조작에서 촉각 피드백을 효과적으로 활용하는 물리 기반 손재주 비전-언어-행동 모델이다. DeCAL은 이해, 생성, 행동을 협력적 프레임워크 안에 통합해 일관된 멀티모달 추론과 정밀한 손재주 제어를 가능하게 한다.
DeCAL은 접촉 인지 촉각 게이팅을 통해 시각-촉각 정보를 적응적으로 융합하고, 미래 지향적 잠재 상상을 통해 시각-촉각 동역학을 모델링함으로써 정책에 암묵적인 세계 지식을 부여한다. 실제 손재주 작업을 대상으로 한 광범위한 실험은 이 접근법의 효과와 일반화 성능을 입증한다.
한계
첫째, 이 방법은 정확한 촉각 인식에 의존하며, 센서 잡음, 보정 오차, 모델 드리프트의 영향을 받을 수 있다. 이러한 요인은 장시간 고부하 작동 중 성능 저하로 이어질 가능성이 있다.
둘째, 원격조작 시스템은 조작자에게 손끝 힘 피드백을 제공하지 않는다. 이로 인해 접촉 조정이 지연되고, 접촉 조절이 최적화되지 않으며, 촉각을 고려한 시연 데이터의 품질이 제한될 수 있다.
또한 현재 프레임워크는 대규모 시각-촉각 사전 학습을 활용하지 않는다. 다양한 촉각 손재주 데이터를 확장해 사전 학습에 활용한다면 모델의 능력을 더욱 향상할 수 있으며, 이는 향후 연구의 중요한 방향이다.
감사의 글
본 연구는 중국 국가자연과학기금(National Natural Science Foundation of China, 62476011)과 베이징 자연과학기금(Beijing Natural Science Foundation, L252060)의 지원을 받았다.
저자들은 방법론 설계에 관한 통찰력 있는 논의와 소중한 피드백을 제공한 Yifan Ye와 Yunfan Lou에게 진심으로 감사드린다. 하드웨어 구성에 도움을 준 Xiansheng Chen에게도 감사의 뜻을 전한다.
자주 묻는 질문
DeCAL이란 무엇인가?
DeCAL은 시각, 언어, 촉각 정보를 결합해 접촉이 빈번한 조작을 수행하는 물리 기반 손재주 비전-언어-행동 모델이다.
DeCAL은 촉각 정보를 어떻게 활용하는가?
적응형 시각-촉각 융합과 접촉 인지 게이팅을 통해 변형 맵, 힘 표현, 원시 촉각 관측을 활용한다.
시각-촉각 잠재 공동 상상이란 무엇인가?
물리적 상호작용의 동역학을 포착하기 위해 미래의 시각 및 촉각 잠재 표현을 함께 예측하는 미래 지향적 메커니즘이다.
DeCAL의 추론 속도는 어느 정도인가?
DeCAL은 NVIDIA RTX 4090 GPU 한 대에서 행동 청크당 평균 0.27초의 추론 지연 시간을 달성한다.