관련 연구
구조화된 시각 프롬프트
이와 보완적인 연구 흐름에서는 멀티모달 대규모 언어 모델이 이미 잘 처리하는 2D 입력으로 장면을 재구성한다. Set-of-Mark는 이미지 위에 시각적 앵커를 덧씌우고, GPT4Scene은 비디오 프레임을 전역 조감도 이미지와 결합한다. Struct2D는 표시가 추가된 조감도와 객체 메타데이터를 짝지으며, 제로샷 방식과 파인튜닝 방식 모두를 제공한다.
이러한 방식은 모든 질문에 동일한 렌더링을 적용하는 반면, GraFT의 조감도 모듈은 필요할 때마다 렌더링한다. 각 뷰는 질문에 맞춰 구성되며, 질문에서 참조된 객체만 보여 준다.
도구를 활용한 공간 추론
또 다른 연구 흐름에서는 모델이 외부 도구를 사용할 수 있도록 한다. SpatialScore의 SpatialAgent, TIGeR, SpaceTools는 멀티모달 대규모 언어 모델이 깊이, 자세 또는 바운딩 박스를 추정하는 도구를 호출할 수 있게 하며, 일반적으로 질문마다 지각 과정을 다시 실행한다.
GraFT는 그래프를 구축할 때 한 번만 지각을 수행한다. 이후 추론 단계에서 사용하는 도구는 그래프 위에서 결정론적 기하 연산을 수행하므로, 여러 질문에 걸쳐 지각 비용을 분산할 수 있다.
기호 모듈: 기하 도구
각 객체의 박스는 상위 지각 모듈이 제공하는 정확도 범위 내에서 객체의 3차원 위치, 크기, 방향을 인코딩한다. 따라서 이 기하 정보의 함수로 표현되는 모든 값은 박스에서 결정론적으로 도출된다. 그 정확도는 백본이 다시 추정한 결과가 아니라 지각 결과를 그대로 물려받는다.
이미지에서 이러한 값을 추론하면 기존 오류 위에 추가 오류가 생길 뿐이다. 이에 GraFT는 박스에서 직접 값을 읽는 기호적 기하 도구를 통해 3D 장면 그래프에서 값을 계산한다.
- 개수 도구는 객체 클래스별 인스턴스 개수를 나열한다.
- 크기 도구는 객체 박스의 각 변 길이를 바탕으로 너비, 깊이, 높이를 반환한다.
- 거리 도구는 두 객체 클래스에 속한 박스 사이의 면 대 면 거리를 측정한다.
- 근접성 도구는 기준 객체까지의 최단 거리를 기준으로 여러 후보 클래스를 순위화해 어느 객체가 가장 가깝거나 먼지 판별한다.
- 방 도구는 방의 너비, 깊이, 높이와 바닥 면적을 반환한다.
각 도구는 박스에 대해 결정론적으로 실행되므로 수치 계산의 어느 부분도 백본을 거치지 않는다.
기하 과제를 해결하는 데 필요한 도구 호출은 정확히 한 번이다. GraFT는 도구를 연쇄적으로 호출하거나 한 도구의 출력을 다음 도구에 입력하지 않으며, 기호 모듈을 하나의 결정론적 단계로 유지한다.
기존 연구와 비교한 GraFT
마지막 실험에서는 GraFT가 공간 추론을 위해 학습된 모델과 대등한 성능을 낼 수 있는지 평가한다. 논문에서 결과를 보고한 하위 집합과 현실적인 지각 조건의 전체 VSI-Bench에서 Struct2D와 직접 비교한다.
참조된 표는 제공된 논문 본문에 포함되어 있지 않다.
결론
GraFT는 단일 3D 장면 그래프 위에서 작동함으로써, 동결된 멀티모달 대규모 언어 모델에 3차원 공간 추론 능력을 부여하는 학습 없는 프레임워크다.
GraFT는 이 3D 장면 그래프에서 다음 세 가지 상호보완적 능력을 도출한다.
- 기호적 기하 도구를 통한 계량 추정.
- 선택적으로 렌더링된 조감도를 통한 기준 좌표계 관점의 배치 파악.
- 기하 정보로 순위를 매긴 자기중심적 프레임을 통한 시각적 속성 파악.
각 능력은 과제에 필요한 증거를 백본에 제공한다. 정답 지각 조건과 현실적인 지각 조건 모두에서 수행한 모듈별 연구는 각 능력이 목표 과제에서 효과적임을 검증한다.
GraFT는 VSI-Bench 평균 점수를 37%에서 65%까지 끌어올리며 세 오픈소스 백본의 성능을 향상했고, 최대 51.4점을 기록해 공간 추론을 위해 파인튜닝된 여러 모델을 능가했다. 심지어 3B 백본도 가장 강력한 72B 기준선을 앞섰다.
이 결과는 공간 관련 지도나 백본별 인코더가 없어도, 동결된 멀티모달 대규모 언어 모델과 간결한 3D 장면 그래프의 결합만으로 이미 강력한 공간 추론이 가능하다는 것을 보여 준다.
가장 큰 한계는 정확도가 장면 그래프의 품질에 의해 제한된다는 점이다. 이 간결한 그래프는 유지하기 쉽고 모든 능력이 공유하므로, 그래프 위에 새로운 모듈을 추가하면 GraFT를 더 다양한 공간 과제로 확장할 수 있다.
3D 장면 그래프 구축
정답 지각 조건에서는 ARKitScenes, ScanNet, ScanNet++의 데이터셋 주석으로 그래프를 구축한다.
현실적인 지각 조건에서 GraFT는 Struct2D의 설정을 따른다. 장면을 오프라인에서 재구성하고, UniDet3D와 Mask3D로 객체를 검출한 뒤, 결과를 정답 3D 장면 그래프와 동일한 구조의 그래프로 변환한다. 이 그래프가 추론 모듈을 연결하는 인터페이스 역할을 한다.
자기중심적 모듈을 위해 프레임별 카메라 자세와 내부 파라미터도 그래프와 함께 보관한다.
자주 묻는 질문
GraFT란 무엇인가? GraFT는 동결된 멀티모달 대규모 언어 모델이 단일 3D 장면 그래프 위에서 3차원 공간 추론을 수행하도록 하는 학습 없는 프레임워크다.
GraFT는 장면 그래프에서 어떤 능력을 도출하는가? 기호적 기하 도구, 선택적으로 렌더링된 조감도, 기하 정보로 순위를 매긴 자기중심적 프레임을 제공한다.
GraFT는 기하 과제를 어떻게 처리하는가? 도구를 연쇄적으로 호출하지 않고, 단 한 번의 기호 도구 호출을 통해 객체 박스에서 값을 결정론적으로 계산한다.
GraFT의 가장 큰 한계는 무엇인가? 정확도가 구축된 장면 그래프의 품질에 의해 제한된다는 점이다.