연구진이 카메라 영상, 촉각 피드백, 미래 시각 상태 예측을 결합해 물체 조작을 학습하는 촉각 증강 비전-언어-행동(VLA) 모델 τ(타우)를 개발했다. 이 방식은 케이블 연결이나 스탬프 누르기처럼 높은 정밀도가 필요한 작업의 성공률을 높여, 로봇이 인간 수준의 손재주에 한 걸음 더 다가서게 한다.
목차
연구진이 개발한 것
연구팀은 시각, 언어 지시, 촉각 감지를 하나의 정책으로 융합하는 로봇 조작 시스템 τ를 만들었다. τ는 이미지와 텍스트 명령을 로봇의 움직임으로 변환하는 기반 모델인 사전 학습 비전-언어-행동(VLA) 모델을 확장한 것이다. 여기에 촉각 센서의 신호를 동일한 잠재 공간으로 전달하는 촉각 인코딩 모듈을 추가했다.
핵심적인 혁신은 공동 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)에 기반한 자기지도 학습 브랜치다. 학습 과정에서 모델은 현재의 촉각·시각 입력을 바탕으로 미래 시각 표현을 예측한다. 이 과정을 통해 촉각 인코더는 표면 접촉이나 미끄러짐처럼 물리적으로 의미 있는 특징을 포착하게 된다. 따라서 비용이 많이 드는 사람이 직접 부여한 촉각 라벨이 필요하지 않다.
학습을 위해 연구팀은 그리퍼에 시각 기반 촉각 센서(DM-Tac WS)를 장착한 Franka Research 3 로봇 팔로 TacAura 데이터셋을 구축했다. RGB-D 카메라 3대가 여러 시점의 영상을 촬영했다. 인간 조작자는 네 가지 정밀 작업, 즉 플러그 삽입, USB 삽입, 스탬프 누르기, 화이트보드 지우기를 각각 100회씩 원격 조작으로 시연했다. 데이터셋과 수집 인프라는 오픈소스로 공개될 예정이다.
주요 결과
실제 환경의 네 가지 정밀 작업에서 τ는 전체 평균 71.25%의 성공률을 기록했다. 각 작업당 100개의 시연으로 학습한 모델을 별도의 작업별 미세 조정 없이 평가한 결과다.
절제 실험에서는 다음 세 요소가 성능에 크게 기여하는 것으로 나타났다.
| 변경 사항 | 평균 성공률 변화 |
|---|---|
| τ 전체 모델 | 71.25%(기준선) |
| 행동 시퀀스 조건화 제거 | –12.5%p(58.75%로 하락) |
| 촉각 인코딩 모듈 제거 | 별도 수치는 보고되지 않았으나 촉각 정보 제거 시 성능 저하 |
| JEPA 예측 브랜치 제거 | 별도 수치는 보고되지 않았으나 자기지도 학습이 핵심적인 역할을 함 |
한 번의 행동만 예측하는 대신 이어질 여러 행동을 예측하는 행동 시퀀스 조건화가 가장 큰 영향을 미쳤다. 이를 제거하자 플러그 삽입 성공률은 5%p, USB 삽입은 10%p, 스탬프 누르기는 15%p, 화이트보드 지우기는 20%p 낮아졌다. 정밀한 힘 조절이 필요한 작업일수록 시간적 맥락을 잃었을 때 성능 저하가 컸다.
제로샷 일반화 실험에서 τ는 추가 학습 없이도 형태가 다른 USB 드라이브와 지우개, 시각적 clutter가 있는 환경을 처리했다. 이는 촉각 정보가 새로운 조건에 적응하는 데 도움을 준다는 점을 보여준다.
작동 원리
τ 아키텍처는 하나의 엔드투엔드 정책으로 함께 작동하는 세 가지 모듈을 결합한다.
1. VLA 백본: 사전 학습된 비전-언어-행동 모델을 기반으로 하며, RGB 이미지와 자연어 명령을 처리해 관절 위치 목표를 생성한다. 촉각 학습 중에는 일반적인 지식을 보존하기 위해 백본을 동결했다.
2. 촉각 인코딩 및 적응: DM-Tac 센서의 촉각 이미지(320×240 해상도, 40 FPS)를 경량 인코더에 입력해 시각 특징과 동일한 임베딩 공간으로 변환한다. 작은 어댑터 네트워크가 촉각 인코더와 동결된 VLA 백본 사이를 연결한다. 이에 따라 그래디언트가 흐르면서 촉각 표현이 행동 예측에 유용한 방향으로 학습된다.
3. JEPA 예측 브랜치: 학습 중 보조 네트워크는 현재의 촉각 임베딩과 시각 잠재 코드를 입력으로 받아 약 0.5~1초 뒤의 미래 시각 관측에 해당하는 잠재 코드를 예측한다. 손실은 픽셀 공간이 아닌 표현 공간에서 계산된다. 이 방식은 촉각 인코더가 물체의 이동이나 변형처럼 미래의 시각적 변화를 예측하는 접촉 역학을 포착하도록 유도한다. 이 브랜치는 학습 중에만 활성화되며, 추론 시에는 촉각·시각 입력이 행동 디코더로 직접 전달된다.
학습에는 작업당 100개의 시연, 배치 크기 32, 행동 호라이즌 32스텝, 최대 5e-5의 코사인 학습률 스케줄을 사용했다. 모델은 NVIDIA A800 GPU(각 80GB) 2대로 30,000스텝 동안 학습했으며, 2,000스텝마다 체크포인트를 저장했다.
로보틱스에서 중요한 이유
현재 대부분의 로봇 학습 시스템은 시각에만 의존하기 때문에 물체가 가려져 있거나 투명하거나 정밀한 힘 조절이 필요한 상황에서 한계를 보인다. τ는 미래 시각 상태를 예측하는 자기지도 학습 신호와 촉각 감지를 결합하면 접촉이 많은 작업의 성능을 크게 높일 수 있음을 보여준다.
산업 현장에서는 로봇이 조립, 삽입, 표면 상호작용 작업을 더 안정적으로 수행할 수 있다는 의미다. 오픈소스로 공개되는 데이터 수집 인프라는 다른 연구실이 촉각 증강 학습을 도입하는 장벽도 낮춰준다. 판매 중인 중고 협동로봇이나 중고 산업용 로봇을 검토하는 로봇 구매자와 엔지니어라면, 최신 VLA 모델과 촉각 센서 개조를 결합해 기존 하드웨어를 전면적인 자동화 설계 변경 없이도 확장할 가능성에 주목할 필요가 있다.
제로샷 일반화 결과는 더욱 안정적인 현장 배치 가능성도 시사한다. 로봇이 재학습 없이 새로운 부품이나 정돈되지 않은 작업 공간을 처리할 수 있기 때문이다. 이는 하나의 로봇이 여러 작업을 수행하는 유연한 제조 환경으로 향하는 산업의 흐름과도 맞닿아 있다.
한계와 남은 과제
실험은 단일 로봇 팔(Franka Research 3)과 특정 촉각 센서(DM-Tac WS)를 사용해 진행됐다. 이 접근법이 다른 로봇 플랫폼, 그리퍼 형태, 촉각 센서 기술로도 이전될 수 있을지는 아직 확인되지 않았다. 데이터셋 역시 작업당 100개의 시연을 포함한 네 가지 작업에 국한되어 있다. 수백 가지의 더 다양한 작업으로 확장하려면 상당한 추가 데이터 수집이 필요하다.
JEPA 예측 브랜치는 비교적 짧은 시간 범위(약 0.5~1초)를 대상으로 학습됐다. 여러 접촉 사건이 이어지는 장기 작업(예: 다단계 조립)에서는 예측 범위를 늘려야 할 수 있다. 또한 현재 모델은 행동 호라이즌 32(일반적인 제어 주기에서 약 2초)를 사용하지만, 매우 정밀한 힘 제어 동작에는 더 세밀한 시간 해상도가 도움이 될 수 있다.
자주 묻는 질문
τ에는 고가의 촉각 센서가 필요한가? 아니다. 저렴한 카메라와 실리콘 젤 패드로 제작할 수 있는 시각 기반 촉각 센서를 사용한다. 논문에서 사용한 DM-Tac WS는 시판 제품이며 소형이다.
τ가 새로운 작업을 학습하려면 시연이 몇 번 필요한가? 논문에서는 작업당 전문가 시연 100개를 사용했다. 일부 강화학습 방식보다는 많지만, 수천 번의 시도가 필요한 많은 엔드투엔드 학습 방법보다는 적은 수준이다.
촉각 그리퍼가 없는 일반 로봇 팔에서도 τ를 사용할 수 있는가? 촉각 정보는 τ의 성능에 필수적이다. 촉각이 없으면 모델이 접촉 정보를 잃어버려 성공률이 크게 떨어지며, 특히 힘 조절이 필요한 작업에서 그 영향이 두드러진다.
TacAura 데이터셋은 현재 이용할 수 있는가? 저자들은 데이터셋과 데이터 수집 인프라를 오픈소스로 공개할 예정이라고 밝혔다. 구체적인 공개 일정은 제시되지 않았지만, 이는 연구의 주요 기여 중 하나다.
결론
τ는 미래 시각 상태를 자기지도 방식으로 예측함으로써 값비싼 라벨 없이도 비전-언어-행동 모델에 촉각 감지를 추가하는 실용적인 방법을 제시한다. 이 모델은 정밀 조작 작업에서 71.25%의 성공률을 기록했고 보지 못한 물체에도 일반화했다. 이는 산업 조립과 손재주가 필요한 상호작용에서 더욱 유능한 로봇으로 나아가는 가능성을 보여준다.