로봇은 기능이 같은 새로운 물체라면, 형태가 크게 달라도 기존에 학습한 조작 기술을 재사용할 수 있어야 한다. 손잡이 모양이 다른 머그잔, 뚜껑 형태가 다른 병, 집게 길이가 다른 펜치가 그 예다.
기존 접근법은 대개 의미적으로 대응하는 상호작용 영역이나 어포던스를 찾아 시연 동작을 전이한다. 이러한 방법은 대략적인 접촉 위치를 찾는 데는 충분하지만, 조작 기술의 기능적 의도, 즉 물체의 어디에 접촉할지뿐 아니라 어떤 방식과 순서로, 그리고 물체의 관절 구조와 어떤 관계를 유지하며 조작할지까지 포착하지 못하는 경우가 많다.
조밀한 대응 관계는 물체 표면 사이의 조밀한 매핑을 유지함으로써 이러한 한계를 자연스럽게 해결한다. 조작에서 의미적 대응은 로봇이 물체의 어디와 상호작용해야 하는지를 결정하고, 기하학적으로 일관된 대응은 일관된 국소 기하 프레임을 복원해 그 상호작용을 어떻게 수행할지를 결정한다. 따라서 효과적인 기술 전이를 위해서는 의미적으로 일관되면서도 기하학적으로 정합적인 대응 관계가 필요하며, 이것이 조밀한 대응 문제를 정식화하는 동기가 된다.
우리는 Semantic Anchored Correspondence(SemAnCorr)를 제안한다. SemAnCorr는 학습 없이 의미적으로 중요한 영역을 앵커로 삼고, 기능 맵을 사용해 이러한 제약을 물체 표면 전체로 전파함으로써 서로 다른 물체 인스턴스 사이에 조밀한 대응 관계를 구축하는 프레임워크다. 의미적 일관성과 기하학적 정합성을 함께 보존함으로써, SemAnCorr는 기하 형태가 다양한 물체 사이에서 시연된 조작 기술을 전이하는 데 필요한 국소 기하 구조를 복원한다.
PartNet-Mobility로 구축한 조밀한 대응 벤치마크에서 SemAnCorr를 평가하고, 실제 관절형 조작을 통해 실용적 유용성을 검증했다. 실험 결과, 향상된 기하학적 대응은 이전에 보지 못한 물체 인스턴스에 대한 더욱 안정적인 제로샷 조작 기술 전이로 직접 이어졌다.
요약하면, 본 논문의 기여는 다음과 같다.
- 의미 앵커 선택과 기능 맵 전파를 결합해 의미적으로 일관되고 기하학적으로 정합적인 대응 관계를 생성하는, 학습이 필요 없는 조밀한 대응 프레임워크 SemAnCorr를 제안한다.
- 의미적 정확도(어디와 상호작용할지)와 기하학적 정합성(상호작용을 어떻게 수행할지)을 모두 평가하는 PartNet-Mobility 기반 조밀한 대응 벤치마크를 구축한다.
- SemAnCorr를 활용해 물체 인스턴스 사이에서 시연된 기술을 전이하는 물체 중심 조작 기술 전이 파이프라인을 개발하고, 단 한 번의 시연만으로 제로샷 관절형 조작을 가능하게 한다.
방법: 의미 앵커 기반 대응
제안 방법은 먼저 각 물체 표면에서 의미적으로 중요한 부분을 식별한다. 그런 다음 의미와 기하 형태가 모두 일치하는 대응 부분 쌍을 소수 선택하고, 마지막으로 이 쌍을 제약 조건으로 사용해 물체 표면 전체에 걸쳐 조밀한 대응 관계를 매끄럽게 전파한다.
실험 평가
두 가지 질문에 답하기 위해 조작 데이터셋과 실제 로봇 환경에서 SemAnCorr를 평가한다.
- 조밀한 대응 관계가 기하 형태가 다양한 물체 인스턴스 사이에서 의미적 일관성과 기하학적 정합성을 동시에 보존할 수 있는가?
- 향상된 대응 품질이 더욱 안정적인 제로샷 조작 기술 전이로 이어지는가?
이하의 시각화에서는 소스 물체의 매끄러운 색상 그라디언트를 타깃 물체로 전이해 대응 관계를 표현한다. 색상이 매끄럽게 이어지면 기하학적으로 정합적인 매핑을, 색상이 조각나 보이면 공간적 불일치를 의미한다.
평가 지표
평가 지표는 유효한 의미 라벨을 가진 타깃 정점에 대해 대응 품질을 측정한다.
기준 방법
기하 기반 접근법과 의미 기반 접근법을 아우르는 대표적인 기준 방법 4가지와 비교한다.
- FM-WKS는 Wave Kernel Signature 디스크립터를 사용해 기능 맵 대응 관계를 추정한다. 의미 정보 없이 순수하게 내재적 기하 구조만 활용하므로, 의미 특징의 기여가 없는 하한선 역할을 한다.
- Robo-ABC는 사전 학습된 시각 특징을 사용해 2D 이미지 공간에서 픽셀 수준의 의미 대응 관계를 구축한다. 각 메시를 8개 시점에서 렌더링하고, 가장 신뢰도가 높은 2D 대응을 선택한 뒤 이를 3D로 승격한다. 이는 3D 문제에 적용된 2D 의미 대응 방법의 대표 사례다.
- D3Fields는 다중 시점 렌더링에서 DINOv2 특징을 승격해 정점별 3D 디스크립터를 구성하고, 특징 공간에서 최근접 이웃 매칭을 수행한다. 이 기준 방법은 동일한 3D 특징 승격 전략을 사용할 때 최근접 이웃 방식에 비해 기능 맵 전파가 기여하는 정도를 분리해 보여 준다.
- DenseMatcher는 SD-DINO 특징과 학습된 DiffusionNet 정제기, 기능 맵을 결합한다. PartNet-Mobility 범주에서 일반화 성능을 평가한다.
범주 간 일반화
많은 조작 기술은 의미적으로 연관된 서로 다른 물체 범주 사이에서도 자연스럽게 전이된다. 따라서 SemAnCorr가 범주의 경계를 넘어 일반화되는지, 그리고 파이프라인이 범주 간 일반화 가능성을 가볍게 판단할 수 있는 신호를 제공하는지 평가한다.
또한 계산된 의미 앵커 신뢰도가 물체 간 호환성을 나타내는 간단한 신호가 될 수 있는지도 살펴본다. 이는 추가 분류기 없이도 시연된 기술이 전이될 가능성을 추정하는 데 유용할 수 있다. 의미 앵커 신뢰도는 본 방법에서 새롭게 도입한 지표이므로, 이 분석과 직접 비교할 수 있는 기준 방법은 없다.
물체 범주 사이의 평균 앵커 신뢰도는 범주 내 쌍에 해당하는 대각선에서 가장 높고, 용기류(병, 주전자, 양동이, 쓰레기통), 수공구(칼, 펜치, 가위), 가전제품(전자레인지, 세탁기)처럼 기능적으로 연관된 범주 사이에서도 비교적 높게 나타난다. 반면 기능적 또는 기하학적 유사성이 뚜렷하지 않은 범주 쌍은 대체로 낮은 신뢰도 점수를 받는다.
이러한 경향은 앵커 신뢰도가 단순한 범주 동일성보다는 의미적·기하학적 호환성을 포착한다는 점을 시사한다. 이 점수가 조작 성공을 직접 측정하는 것은 아니지만, 일반화 가능성을 판단할 때 활용할 수 있는 가벼운 사전 정보가 될 수 있다.
결론 및 향후 연구
우리는 물체 사이에서 의미적 일관성과 국소 기하학적 정합성을 모두 보존하는 조밀한 대응 관계를 구축하는 프레임워크 Semantic Anchored Correspondence(SemAnCorr)를 제시했다. 벤치마크와 실제 조작 실험을 통해, 기하 형태가 다양한 인스턴스 사이에서 안정적인 기술 전이를 위해서는 두 특성이 모두 필요함을 보였다. 의미적 일관성은 어디와 상호작용할지를 결정하고, 기하학적 정합성은 어떻게 상호작용할지를 결정한다.
향후에는 여러 접촉점이 기하학적으로 일관된 상태를 유지해야 하는 양손 조작과 손재주 조작으로 대응 관계 정식화를 확장할 예정이다. 제로샷 기술 전이를 넘어, SemAnCorr는 학습 기반 조작 정책을 위한 데이터를 부트스트랩하는 데도 활용될 수 있다. 성공적으로 수행된 동작을 이전에 보지 못한 물체로 전이해 추가 시연 데이터를 생성하고, 이를 조작 정책 미세 조정의 감독 신호로 활용하면 반복적인 인간 데이터 수집의 필요성을 줄일 수 있다.
자주 묻는 질문
SemAnCorr란 무엇인가? SemAnCorr는 의미적으로 중요한 영역을 앵커로 삼고 기능 맵을 사용해 이러한 제약을 물체 표면 전체로 전파함으로써 물체 인스턴스 사이에 조밀한 대응 관계를 구축하는, 학습이 필요 없는 프레임워크다.
기술 전이에서 기하학적 정합성이 중요한 이유는 무엇인가? 의미적 일관성은 로봇이 어디와 상호작용해야 하는지를 결정하고, 기하학적 정합성은 일관된 국소 기하 프레임을 복원해 그 상호작용을 어떻게 수행할지를 결정한다.
SemAnCorr는 물체 범주를 넘어서도 작동하는가? 그렇다. 앵커 신뢰도는 범주 내에서 가장 높지만, 용기류, 수공구, 가전제품처럼 기능적으로 연관된 범주 사이에서도 비교적 높게 유지된다.
이 연구의 향후 방향은 무엇인가? 향후에는 대응 관계 정식화를 양손 및 손재주 조작으로 확장하고, SemAnCorr를 활용해 학습 기반 조작 정책을 위한 데이터를 부트스트랩할 예정이다.