King's College London의 연구진이 개발한 VTLoc은 촉각 센서 데이터와 시각적 포인트 클라우드를 융합하여 로봇이 물체에 닿은 위치를 정확히 찾아내는 학습 기반 시스템입니다. 촉각 데이터와 시각 데이터를 3D 공간에서 정렬함으로써 VTLoc은 이전 방법보다 접촉 위치 오차를 40% 이상 줄여, 로봇이 정밀한 조작을 수행하는 데 한 걸음 더 가까워졌습니다.
목차
연구진이 만든 것
VTLoc은 촉각이 있는 로봇이라면 누구나 묻는 근본적인 질문에 답하는 신경망 프레임워크입니다: "내 손가락이 이 물체의 어디에 닿았지?" VTLoc은 물체의 3D 포인트 클라우드(깊이 카메라 또는 라이다)와 접촉 순간의 촉각 센서 신호 두 가지 입력을 받아, 포인트 클라우드 위에 접촉 위치의 확률 히트맵을 출력합니다.
핵심 혁신은 기하학적 다중 모달 정렬(GMA) 모듈로, 촉각 특징과 시각적 특징이 3D 공간에서 기하학적으로 일관되도록 강제합니다. 또한 반복적 위치 업데이터(ILU) 가 접촉 예측을 단계적으로 정밀화합니다. 이 이중 접근법은 고전적인 문제를 해결합니다. 촉각 센서만으로는 평평한 표면의 A 지점과 B 지점을 구분할 수 없지만, 시각적 포인트 클라우드가 기하학적 맥락을 제공하여 모호성을 제거합니다.
훈련과 테스트를 위해 연구진은 다양한 모양, 크기, 표면 질감을 가진 실제 물체 100개로 구성된 벤치마크를 구축하고, 모션 캡처 시스템으로 실제 접촉 위치를 수집했습니다.
주요 결과
100개 물체 벤치마크에서 VTLoc은 기존 촉각 접촉 위치 추정 방법보다 크게 개선되었습니다:
- 평균 위치 오차(MPE): VTLoc은 MPE를 11.2mm로 줄였습니다. 이는 차선 방법(순수 촉각 방식, 19.4mm 오차)보다 42% 개선된 수치입니다.
- Top-1 정확도: VTLoc은 가장 가까운 후보 접촉점을 87.3% 의 확률로 정확히 식별했습니다(촉각 기준 62.1%).
- Top-5 정확도: 올바른 접촉점이 상위 5개 후보 안에 포함될 확률은 96.8% 로, 정확한 지점이 모호한 경우에도 높은 신뢰도를 보였습니다.
ILU 모듈의 반복적 정밀화는 전체 정확도 향상의 약 15%를 기여했으며, 나머지는 GMA 모듈이 담당했습니다. 기하학적 대칭성을 가진 물체(예: 그릇, 컵)의 경우, VTLoc에 내장된 대칭 사전 지식을 통해 Top-1 정확도가 82.5%에서 89.1%로 더욱 향상되었습니다.
작동 방식
VTLoc은 세 단계로 작동합니다:
- 특징 추출: ResNet-18이 촉각 이미지를 처리하여 촉각 특징 벡터를 생성합니다. PointNet++ 백본이 전체 3D 포인트 클라우드를 각 점의 기하학적 특징으로 인코딩합니다.
- 기하학적 다중 모달 정렬(GMA): 단순히 촉각과 시각 특징을 연결하는 대신, GMA 모듈은 학습된 아핀 변환을 사용하여 촉각 특징을 포인트 클라우드의 3D 공간으로 투영한 후, 크로스-어텐션 메커니즘을 적용하여 각 촉각 특징 요소를 기하학적으로 가장 유사한 포인트와 매칭합니다. 이를 통해 촉각 데이터가 국소 표면 기하학과 일치하도록 강제합니다. 예를 들어 평평한 영역의 촉각 패턴이 곡면 영역과 매칭되지 않습니다.
- 반복적 위치 업데이터(ILU): 정렬된 특징 맵은 트랜스포머 기반 업데이트 블록을 통과하여 3~5회 반복 동안 포인트 클라우드 위의 접촉 확률 분포를 정밀화합니다. 각 단계에서 네트워크는 국소 기하학이 촉각 신호와 얼마나 일치하는지에 따라 포인트의 가중치를 재조정하여 신뢰도 높은 예측으로 수렴합니다.
그릇이나 접시 같은 대칭 물체의 경우, VTLoc은 회전 대칭 사전 지식을 적용합니다. 초기 히트맵을 생성한 후, 확률 분포를 물체의 대칭 축을 기준으로 회전시켜 평균을 냅니다. 이렇게 하면 물리적으로 동등한 모든 접촉 위치(예: 그릇 테두리의 동일 반경 지점)가 동일한 확률을 받아 특정 지점에 대한 잘못된 확신을 방지합니다.
로봇 공학에서의 중요성
신뢰할 수 있는 촉각 접촉 위치 파악은 고급 조작 작업에 필수적인 요소입니다. 현재의 휴머노이드 로봇과 협동 로봇은 물체 상호작용에 시각에 크게 의존하지만, 시각은 가려짐이나 조명이 나쁜 상황에서 실패하며, 접촉의 강약을 알려주지 못합니다. VTLoc이 그 격차를 메웁니다.
창고 및 제조 현장에서 중고 산업용 로봇이 빈 피킹, 조립, 품질 검사에 사용될 때, 촉각 접촉 위치 파악을 추가하면 그리퍼가 카메라 시야를 가려도 로봇이 물체를 올바르게 잡았는지 확인할 수 있습니다. 또한 센티미터 미만 정밀도로 핀을 구멍에 삽입하는 등의 섬세한 작업이 가능해집니다.
대칭 물체를 처리하는 능력은 특히 실용적입니다. 컵, 그릇, 나사 등 많은 일상 물체가 회전 대칭성을 갖습니다. VTLoc의 대칭 사전 지식은 이러한 일반적인 경우에 강건하게 작동하여, 동등하게 가능한 접촉점 사이에서 혼동하지 않습니다.
한계점과 향후 과제
VTLoc은 강체를 가정하며, 스펀지, 직물, 식품 등 부드럽거나 변형 가능한 재료는 고려하지 않습니다. 이러한 재료의 경우 접촉 신호가 물체 변형에 따라 연속적으로 변하므로 변형 역학의 시간적 모델링이 필요합니다. 저자들은 이를 향후 연구 과제로 제시했습니다.
벤치마크에는 100개의 물체만 포함되어 있으며, 모두 통제된 실험실 조명과 고품질 포인트 클라우드에서 테스트되었습니다. 실제 환경에서는 노이즈가 많은 포인트 클라우드, 다양한 표면 반사율, 다른 유형의 촉각 센서가 사용될 수 있습니다. 센서 노이즈와 포인트 클라우드 해상도에 대한 시스템의 민감도는 아직 충분히 테스트되지 않았습니다.
마지막으로, 현재 프레임워크는 단일 접촉 위치 파악만 수행합니다. 많은 실제 작업에서는 여러 접촉을 결합하여 불확실성을 줄이는 것이 필요합니다(예: "여기서 만지고 저기서 만졌으니 물체가 이 방향일 것이다"). VTLoc을 다중 접촉 시퀀스로 확장하는 것이 자연스러운 다음 단계입니다.
자주 묻는 질문
VTLoc은 순수 시각적 객체 자세 추정과 어떻게 다른가요? 순수 시각적 방법은 물체의 공간적 위치를 추정하지만, 손가락이 정확히 어디에 닿았는지는 알 수 없습니다. 특히 손가락이 물체를 가릴 때 더욱 그렇습니다. VTLoc은 촉각 데이터를 시각과 명시적으로 융합하여 접촉 위치를 정확히 찾아냅니다.
VTLoc에 어떤 촉각 센서가 필요한가요? 시스템은 원칙적으로 센서에 의존하지 않습니다. 저자들은 GelSight Mini(젤 기반 광학 촉각 센서)를 사용했지만, 아키텍처는 촉각 이미지만 입력으로 받으면 되므로 촉각 카메라나 센서 어레이에 쉽게 적용할 수 있습니다.
VTLoc이 전체 물체 포인트 클라우드 없이도 작동하나요? 네, 포인트 클라우드는 부분적(단일 카메라 뷰)이거나 완전(3D 스캐너)일 수 있습니다. 적용 범위가 줄어들면 성능이 점진적으로 저하되지만, 전면 뷰 포인트 클라우드만으로도 2cm 미만의 오차를 유지합니다.
실시간 제어에 충분히 빠른가요? 순전파는 소비자 GPU(RTX 3090)에서 약 35ms가 소요되어 대부분의 로봇 제어 시스템 루프 속도에 적합합니다. 반복적 정밀화는 각 반복당 약 10ms가 추가되어 3회 반복 시 70ms 미만을 유지합니다.
결론
VTLoc은 촉각 센싱과 시각적 기하학을 결합하여 정밀한 접촉 위치 파악을 위한 실용적이고 효과적인 방법을 제시합니다. 두 모달리티를 3D 공간에서 정렬하고 예측을 반복적으로 정밀화함으로써 오차율을 절반 가까이 줄이고 대칭 물체를 기본적으로 처리합니다. 촉각 센서가 저렴해지고 보편화됨에 따라, VTLoc과 같은 방법은 로봇에게 진정한 촉각을 부여하는 데 필수적이 될 것입니다.