중국 연구진이 개발한 RelGraphOV는 객체 간의 관계를 명시적으로 모델링하여 로봇이 개방형 어휘 질의로 3D 장면을 이해할 수 있게 해주는 프레임워크입니다. 각 객체를 고립적으로 처리하는 대신, RelGraphOV는 객체가 어떻게 관련되어 있는지(예: "책상 옆 의자")를 포착하는 3D 장면 그래프를 구축하고, 그 맥락을 활용하여 새로운 사용자 정의 카테고리에 대한 분할 정확도를 크게 향상시킵니다.
목차
연구진이 만든 것
대부분의 개방형 어휘 3D 장면 이해 시스템은 모든 점이나 객체를 독립적으로 처리하여 그 특징을 "초록 머그잔"이나 "회전 의자"와 같은 언어 임베딩과 매칭합니다. 이는 고립된 객체에는 효과적이지만 맥락이 중요할 때 실패합니다—"책상 옆 의자"가 혼자 있는 의자와 똑같이 보일 수 있지만 기능적 역할은 다릅니다.
RelGraphOV는 표준 개방형 어휘 백본 위에 관계 인식 계층을 추가하여 이 문제를 해결합니다. 시스템은 먼저 재구성된 점군에서 3D 장면 그래프를 구축합니다. 노드는 객체(사전 학습된 검출기로 분할됨)를 나타내고, 엣지는 "위에 앉음", "부착됨", "근처"와 같은 공간 및 의미 관계를 포착합니다. 수동 레이블 없이 엣지를 구축하기 위해 연구진은 자동화된 다중 시각 추론 엔진을 설계했습니다. 이 엔진은 비전-언어 모델(VLM)을 사용하여 여러 2D 카메라 각도에서 동일한 장면을 보고, 상충되는 설명을 비교한 후 가장 가능성 있는 관계를 투표로 결정합니다.
그래프가 구축되면, 사용자 지정 그래프 어텐션 네트워크(GAT)가 적응형 게이팅 메커니즘을 통해 객체 자체의 특징을 관계적 맥락과 융합합니다. 이 "맥락화된" 특징은 계층적 대조 학습을 통해 텍스트 임베딩과 비교하여 개방형 어휘 분할 작업에 사용됩니다.
주요 결과
RelGraphOV는 ScanNet, Matterport3D, S3DIS 데이터셋에서 3D 의미 분할 작업으로 평가되었으며, 개방형 어휘 지표(mIoU 및 mAcc)를 사용했습니다. 이 프레임워크는 기존 최첨단 방법을 일관되게 능가했습니다.
- ScanNet에서 RelGraphOV는 개방형 어휘 분할에서 71.2% mIoU와 79.8% mAcc를 달성하여 이전 최고 개방형 어휘 기준선인 OpenScene보다 mIoU가 +6.3% 상대적으로 개선되었습니다.
- Matterport3D에서는 65.4% mIoU를 기록하여 OpenScene을 +5.1포인트 차이로 이겼고, 개방형 어휘 카테고리에서 평가된 모든 폐집합 분할 모델을 능가했습니다.
- 교차 데이터셋 일반화 테스트(ScanNet에서 훈련, Matterport3D에서 테스트)에서는 가장 강력한 기준선보다 +4.7% mIoU 향상을 보여 관계 인식 특징이 보지 못한 환경에서도 잘 전이됨을 입증했습니다.
특히 맥락에 의존하는 객체에서 향상이 두드러졌습니다. 예를 들어 "책상 램프"(책상과의 관계로 바닥 램프와 정확히 구분)와 "스탠드 위 모니터" 대 독립형 화면 등이 있습니다. 절제 연구에 따르면 장면 그래프 계층을 제거하면 성능이 거의 OpenScene 수준으로 떨어졌고, 적응형 게이팅 메커니즘은 표준 GAT보다 추가로 1.8% mIoU를 기여했습니다.
작동 방식
RelGraphOV는 세 가지 주요 단계로 구성됩니다:
- 장면 그래프 구축 – 재구성된 3D 장면(점군)이 주어지면 시스템은 먼저 개방형 어휘 3D 검출기(LSeg 기반)를 실행하여 초기 점별 특징을 가진 객체 제안을 생성합니다. 객체들은 각 노드가 특징 벡터와 여러 시점에서 찍은 2D 이미지 컷을 보유하는 그래프로 연결됩니다. VLM(예: BLIP-2)에 각 객체 쌍에 대해 "객체 A와 객체 B의 관계는 무엇인가?"라는 프롬프트로 질의합니다. 다중 시각 엔진은 여러 카메라 각도에서 응답을 수집하고, 다수결 또는 신뢰도 기반 융합을 사용하여 불일치를 해결하고 관계 토큰(예: "위에", "옆에", "안에")을 할당합니다. 결과는 원-핫 관계 인코딩을 가진 방향성 또는 무방향성 엣지입니다.
- 적응형 게이팅 이중 스트림 맥락 GAT – 이것이 핵심 정제 모듈입니다. LSeg의 초기 객체 특징을 받아 두 개의 병렬 스트림(맥락 무관한 로컬 자기 주의 스트림과 엣지 특징(관계 임베딩)을 주입하는 관계 스트림)으로 처리합니다. 적응형 게이팅 네트워크는 객체 유형과 로컬 그래프 이웃에 따라 두 스트림 간의 균형을 학습합니다. 게이팅된 특징은 엣지 방향과 관계 유형을 존중하는 GAT를 통해 그래프 이웃 전체에 집계됩니다. 출력은 각 객체에 대한 풍부한 맥락 인식 특징 벡터입니다.
- 계층적 대조 학습 – 이러한 객체 수준 특징을 개방형 어휘 텍스트와 정렬하기 위해 시스템은 여러 규모에서 대조 손실을 사용합니다: 노드 수준(객체 대 텍스트 구문), 그래프 수준(장면 설명 대 전체 그래프 임베딩), 클러스터 수준(관련 객체 그룹 대 복합 설명). 이는 모델이 고립된 의미와 관계적 의미를 모두 인코딩하도록 강제합니다.
로봇공학에 중요한 이유
로봇이 창고를 탐색하거나, 선반에서 물건을 집거나, 가정에서 도움을 주기 위해서는 객체가 무엇인지뿐만 아니라 어떻게 관련되어 있는지를 이해해야 합니다. 지게차는 팔레트가 쌓인 더미 "위에" 있다는 것을 알아야 하며, 단순히 팔레트가 존재한다는 것만으로는 충분하지 않습니다. "책상 아래 쓰레기통"을 찾는 모바일 조작기는 관계 인식 인식의 직접적인 혜택을 받습니다.
RelGraphOV는 기존 개방형 어휘 파이프라인에 이러한 관계적 맥락을 주입하는 실용적이고 훈련 효율적인 방법을 제공합니다. 이는 로봇공학에서 흔한 정적 재구성 데이터(SLAM 맵, 가공된 점군 등)와 함께 작동하며 수동 관계 주석이 필요하지 않습니다—VLM이 자동으로 레이블링을 수행합니다. 즉, 이미 3D 센서와 사전 훈련된 객체 검출기를 사용하는 모든 로봇이 최소한의 새 데이터로 관계 인식 장면 이해로 업그레이드할 수 있습니다.
교차 데이터셋 결과는 매일 새로운 레이아웃을 접하는 창고 및 공장 환경에서 특히 유망합니다. 중고 산업용 로봇 페이지에서 운영자는 변화하는 환경에 적응하는 로봇을 필요로 하는 경우가 많습니다. RelGraphOV 스타일의 인식은 새로운 픽 앤 플레이스 또는 검사 작업 프로그래밍을 더 빠르게 만들 수 있습니다. 마찬가지로 통로를 탐색하고 빈과 상호작용하는 창고 로봇은 "박스 위 선반" 또는 "작업장 옆 컨베이어"와 같은 공간 제약을 이해하는 데 이점을 얻을 수 있습니다.
한계와 미해결 과제
RelGraphOV는 현재 고정된 LSeg 및 CLIP 백본을 사용하므로, 초기 특징이 최신 밀집 VLM이 포착하는 세부적인 시각 정보를 놓칠 수 있습니다. 저자들은 이를 자연스러운 다음 단계로 언급합니다. 또한 장면 그래프는 정적 재구성에서 구축되므로, 움직이는 객체와 변화하는 관계(예: 사람이 테이블에 앉는 경우)를 처리하려면 시간적으로 일관된 그래프 업데이트가 필요하며, 이는 여전히 미해결 과제입니다.
VLM 기반 관계 주석은 제공된 2D 시점에 의존하므로, 심하게 가려진 객체나 모호한 공간 배열(예: "접촉" 대 "쌓임")의 경우 다중 시각 투표도 잡음이 많은 레이블을 생성할 수 있습니다. 마지막으로, 이 방법은 사전 분할된 객체 제안을 가정하므로 초기 분할의 실패(과소 분할 또는 과대 분할)가 그래프로 전파됩니다.
자주 묻는 질문
3D 장면 그래프란 정확히 무엇인가요? 3D 장면 그래프는 노드가 3D 환경의 객체를 나타내고 엣지가 "위에", "부착됨", "옆에"와 같은 공간적 또는 의미적 관계를 나타내는 그래프입니다.
RelGraphOV는 수동 주석 없이 어떻게 관계 레이블을 생성하나요? 비전-언어 모델을 사용하여 여러 카메라 시점에서 동일한 객체 쌍을 검사한 다음, 투표 메커니즘을 통해 상충되는 설명을 해결하여 자동으로 관계 레이블을 생성합니다.
RelGraphOV는 새로운 환경마다 재훈련이 필요한가요? 아닙니다. 모델은 표준 실내 데이터셋(ScanNet)에서 한 번 훈련되며, Matterport3D에서의 강력한 교차 데이터셋 성능에서 보여지듯 추가 훈련 없이 새로운 장면에 일반화됩니다.
RelGraphOV를 실행하는 데 필요한 하드웨어는 무엇인가요? 시스템은 사전 구축된 장면 그래프에 대해 단일 GPU(RTX 3090)를 사용하여 추론합니다. VLM 주석 단계가 가장 비용이 많이 들지만 오프라인에서 실행할 수 있습니다.
결론
RelGraphOV는 명시적인 관계 추론을 개방형 어휘 3D 장면 이해에 추가하면 수동 주석 없이도 상당한 정확도 향상을 얻을 수 있음을 보여줍니다. 3D 장면 그래프와 적응형 그래프 어텐션 네트워크를 활용함으로써 로봇은 마침내 인간이 하는 방식인 상호 연결된 전체로서 장면을 인식할 수 있게 되었습니다.