TacForeSight라는 새로운 프레임워크는 로봇이 손목의 힘과 토크 측정값을 바탕으로 다가올 촉각 감각을 예측할 수 있게 해준다. 이를 통해 접촉이 많은 작업을 훨씬 더 강건하게 처리할 수 있다. 다섯 가지 까다로운 조작 작업에서 평균 79%의 완료율과 예상치 못한 교란 상황에서 86.7%의 성공률을 기록하며 기존 방법을 크게 능가했다.
목차
연구진이 만든 것
TacForeSight는 접촉이 많은 조작을 위한 두 부분으로 구성된 예측 시스템이다. 첫 번째 구성 요소인 TacForceWM은 촉각 세계 모델로, 고주파수 손목 힘/토크 측정값(120Hz)과 최근 촉각 센서 데이터(30Hz)를 입력받아 단기 촉각 잠재 상태를 예측한다. 즉, 로봇의 손가락이 다음 순간에 느낄 감각을 미리 알려준다. 두 번째 구성 요소는 예측 촉각 조건화 정책(Predictive Tactile-Conditioned Policy)으로, 예측된 촉각 잠재 변수를 사전 정보로 사용하여 행동 순서를 안내한다.
연구진은 Robotiq 2F-85 그리퍼의 손가락 끝에 Xense 촉각 센서 두 개를 장착하고, 이를 7자유도 xArm7 로봇 팔에 부착했다. UFactory 6축 힘/토크 센서는 손목에 위치하여 촉각 캡처 속도의 4배로 전역 상호작용 힘을 포착한다. 이 설정은 인간이 촉각 피드백이 도착하기 전에 접촉 상태를 예측하기 위해 하중 신호를 사용하는 방식을 반영한다. 시스템은 핀 삽입, 표면 추종, 케이블 라우팅 등 다섯 가지 대표 작업에서 정상 조건 및 세 가지 유형의 공정 중 교란(높이, 각도, 자세 변화) 하에 테스트되었다.
주요 결과
TacForeSight는 비전 전용 정책, 반응형 촉각 피드백 제어기, 기존 촉각 예측 방법 등 여러 기준선과 비교되었다. 평가는 여러 시도에 걸친 완료 점수(성공적인 작업 실행 비율)를 사용했다.
| 조건 | TacForeSight (제안) | 최고 기준선 |
|---|---|---|
| 정상 (5개 작업 평균) | 79.0% | 약 55% (텍스트 추정) |
| 높이 교란 | 90.0% | 약 60% |
| 각도 교란 | 85.0% | 약 50% |
| 자세 교란 | 85.0% | 약 45% |
| 모든 교란 평균 | 86.7% | 약 52% |
정상 조건에서 TacForeSight는 특히 다단계 접촉 전환 또는 정밀 힘 조절이 필요한 작업에서 모든 기준선을 큰 차이로 능가했다. 작업 실행 중간에 교란(예: 테이블 높이 갑자기 올리기, 표면 기울이기, 물체 이동)이 발생했을 때, 기준선 방법은 자주 접촉을 잃거나 미끄러짐을 유발했다. TacForeSight는 빠르게 회복하여 안정적인 접촉을 재확립하고 작업 진행을 유지했다.
절제 연구를 통해 각 구성 요소가 의미 있게 기여함을 확인했다. 세계 모델에서 힘 조건화를 제거하면 평균 성능이 15% 이상 떨어졌고, 예측 촉각 조건화 정책을 제거하면 교란 회복 능력이 20% 감소했다.
작동 원리
TacForeSight는 오프라인 사전 학습과 온라인 배포의 두 단계로 작동한다. 사전 학습 단계에서 촉각 세계 모델(TacForceWM)은 힘/토크 측정값과 촉각 관찰의 시퀀스를 미래 촉각 잠재 상태로 매핑하는 방법을 학습한다. 촉각 토크나이저는 하이브리드 CNN-Transformer 아키텍처를 사용하여 각 손가락 끝의 고밀도 3D 변위 맵을 압축된 프레임 수준 토큰으로 변환한다. 이 토큰은 학습 가능한 공간 위치 임베딩과 손가락 식별 임베딩으로 증강되어, 모델이 두 손가락과 각각의 국소 접촉 형상을 구별할 수 있게 한다.
힘 인코더는 고주파 손목 렌치 신호(세 축 각각의 힘과 토크)를 처리하고 잠재 역학 예측기를 조건화한다. 이 예측기는 현재 촉각 상태와 힘 궤적을 바탕으로 단기(보통 2~3 타임스텝 앞) 동안 촉각 잠재 변수의 진화를 예측하도록 학습된다. 핵심 통찰은 손목의 전역 힘/토크 변화가 손가락 끝의 국소 촉각 변화보다 수 밀리초 먼저 발생한다는 점이다. 촉각 센서가 변화를 감지할 때쯤이면 상호작용이 이미 바뀌어 있다. 힘으로부터 촉각 잠재 변수를 예측함으로써 시스템은 사전 대응적으로 행동할 수 있다.
온라인 배포 단계에서 예측 촉각 조건화 정책은 다중 모드 관찰(카메라 이미지(30Hz), 관절 위치, 현재 촉각 잠재 변수, TacForceWM의 예측 미래 촉각 잠재 변수)을 입력받는다. 교차 주의 메커니즘은 현재 촉각 표현에서 미래로의 진화를 모델링하여 예측 접촉 사전 정보를 생성한다. 그런 다음 촉각 유도 게이트가 이 사전 정보를 시각 특징과 적응적으로 융합하여, 접촉 상태에 따라 정책이 시각 대비 촉각 정보에 의존하는 정도를 제어한다. 마지막으로 조건부 흐름 매칭 행동 헤드가 부드럽고 접촉 인식적인 행동 시퀀스를 생성한다.
전체 파이프라인은 30Hz로 작동하여 조작을 위한 실시간 요구 사항을 충족한다. 컴팩트한 잠재 공간(촉각 프레임당 64차원) 덕분에 온보드 추론이 가볍게 유지된다.
로봇 공학에 중요한 이유
접촉이 많은 조작(핀 구멍에 삽입, 표면 닦기, 윤곽선 따라가기 등)은 로봇 공학에서 가장 어려운 과제 중 하나로 남아 있다. 전통적인 비전 기반 제어는 폐색 및 근거리에서의 낮은 정밀도 깊이 데이터로 어려움을 겪는다. 반응형 촉각 피드백은 도움이 되지만 항상 실제 물리적 상호작용보다 뒤처진다. 로봇이 미끄러짐을 감지할 때쯤이면 물체는 이미 정렬이 틀어졌을 수 있다.
TacForeSight는 이 패러다임을 뒤집는다. 촉각 이벤트에 반응하는 대신, 로봇은 더 일찍 도착하는 힘 신호로부터 이를 예측한다. 이러한 사전 대응 능력은 실제 환경에서 흔히 발생하는 예상치 못한 교란에 대해 조작을 더 강건하게 만든다. 작업대가 부딪히거나, 부품이 그리퍼에서 움직이거나, 조명이 바뀌어 시야가 저하되는 경우 등이다.
조립 또는 포장 작업 자동화를 고려하는 중고 산업용 로봇 또는 창고 로봇 구매자에게 이 접근 방식은 부품 낙하 감소, 처리량 증가, 구조화된 고정 장치 필요성 감소를 의미할 수 있다. 정밀 조립에 협동 로봇을 배포하는 기업은 정렬 불량 및 환경 변화에 대한 강건성 향상의 이점을 얻을 수 있다.
또한 모듈식 설계 덕분에 힘 조건화 세계 모델을 다른 센서 구성이나 로봇 형태에 적용할 수 있지만, 현재 실험은 특정 이중 손가락 그리퍼 설정을 사용했다.
한계점 및 해결 과제
TacForeSight는 단일 로봇 플랫폼과 평행 조 그리퍼에서만 테스트되었다. 세계 모델은 고정된 센서 배치를 가정하며, 재학습 없이 다른 그리퍼, 다중 손가락 또는 소프트 핸드에 직접 전이되지 않을 수 있다. 짧은 예측 지평(2~3 타임스텝)은 국소 조정에 충분하지만 복잡한 시퀀스에 대한 장기 예측 능력은 제공하지 않는다.
사용된 힘-토크 센서(UFactory 6축)는 고품질 산업용 센서다. 저가형 또는 노이즈가 많은 센서는 예측 품질을 저하시킬 수 있다. 또한 이 방법은 촉각 및 힘 감지 모두를 필요로 하므로 모든 설정에 하드웨어 비용과 복잡성이 추가된다.
매우 다른 컴플라이언스(예: 소프트 폼 대 강성 금속)를 가진 물체에 대한 일반화는 광범위하게 연구되지 않았으며, 사용된 촉각 센서(Xense)는 변위 기반이며 힘 감지식이 아니다. GelSight 또는 taxel과 같은 다른 촉각 양식에서 동일한 접근 방식이 작동하는지는 공개된 질문이다.
자주 묻는 질문
TacForeSight에는 어떤 하드웨어가 필요합니까? 로봇 팔에 손목 장착 힘/토크 센서(최소 120Hz)와 각 손가락 끝의 촉각 센서, 그리고 손목 카메라가 필요합니다. 연구진은 7자유도 xArm7, Robotiq 그리퍼, RealSense D435, UFactory F/T 센서, Xense 촉각 센서를 사용했습니다.
시스템 속도는 얼마나 빠릅니까? 전체 예측 및 제어 파이프라인은 30Hz로 작동하여 카메라 및 촉각 센서 프레임 속도와 일치하며, 실시간 조작에 충분합니다.
힘 센서 없이도 작동합니까? 힘 조건화는 이 방법의 핵심입니다. 제거 시 성능이 15% 이상 떨어집니다. 저가형 힘 센서도 작동할 수 있지만, 정확한 촉각 예측을 위해서는 고주파 힘 신호의 품질이 중요합니다.
부드럽거나 변형 가능한 물체에도 작동합니까? 논문은 강체 및 반강체 물체(핀, 케이블, 표면)에서 테스트했습니다. 부드럽거나 변형이 큰 물체는 다른 촉각 감지 방식이 필요할 수 있으며, 동일한 힘-촉각 역학을 따르지 않을 수 있습니다.
결론
TacForeSight는 고대역폭 손목 힘 신호를 미래 촉각 상태와 연결하여 로봇에 예측적 촉각 인식을 제공하는 실용적인 방법을 소개한다. 정상 및 교란 조건 모두에서 우수한 결과를 보여주며, 실제 환경에서 더 신뢰할 수 있는 접촉 기반 조작을 위한 명확한 경로를 제시한다.