간결한 디코더와 강력한 인코더를 활용한 새로운 시점 기하학 학습 (2026)

이미지에서 기하학적 구조를 이해하는 것은 컴퓨터 비전의 토대입니다. DUSt3R, MASt3R, VGGT와 같은 방법은 대규모 주석 3D 데이터로 학습할 때 트랜스포머가 풍부하고 전이 가능한 기하학적 표현을 만들 수 있음을 보여줍니다. 하지만 이러한 감독 신호에 대한 의존성은 근본적인 병목입니다. 조밀한 3D 정답 데이터를 대규모로 수집하는 데 비용이 많이 들기 때문입니다.

새로운 시점 합성(NVS)은 매력적인 대안을 제시합니다. 이러한 모델은 보이지 않는 시점의 장면을 예측하기 위해 3D 장면 구조를 추론해야 하므로, 포즈 정보가 있는 이미지로부터 풍부한 기하학적 감독 신호를 얻습니다. 이러한 이미지는 동영상, 로봇 플랫폼, structure-from-motion 파이프라인 전반에서 풍부하게 구할 수 있습니다. 그러나 피드포워드 NVS 방법이 만드는 표현은 다운스트림 기하학적 과제로 잘 전이되지 않습니다. 우리는 이러한 전이 성능 저하가 신호 자체의 문제가 아니라 아키텍처의 문제라고 봅니다. 신호를 약화하는 두 가지 설계 선택이 있으며, 각각을 식별하고 독립적으로 해결할 수 있습니다.

첫째, 공간 표현력이 높은 디코더는 과제의 표현 부담을 대신 떠안는 경향이 있습니다. 인코더 출력이 무엇이든 충분한 용량을 가진 디코더가 타깃 시점을 재구성할 수 있다면, 인코더는 구조화되고 국소적으로 판별력 있는 특징을 유지해야 할 압박을 받지 않습니다. 재구성 과제는 해결되더라도 잠재 표현은 기하학적 구조에 기반하지 않습니다. 둘째, 픽셀 공간 재구성 타깃은 3D 구조와의 연관성이 낮은 고주파 에일리어싱 통계를 모델링하도록 요구합니다. 그 결과 재구성 손실에서 발생하는 그래디언트는 표현 인코더가 기저의 3D 구조나 의미를 직접 알려주지 않는 세밀한 이미지별 통계를 보존하도록 유도합니다.

SNAP은 동결된 2D 의미 잠재 공간을 기반으로 하는 자기지도 다중 시점 공간 추론 백본입니다. 비대칭 NVS 예측 목적함수와 잠재 특징 타깃을 사용해 조밀한 3D 감독 없이도 기하학적으로 전이 가능한 표현을 학습합니다.

논문에서는 다음을 제시합니다.

수용 영역 스윕과 예측 공간 지형 실험을 통해 디코더 표현력과 예측 공간이 기하학적 전이에 미치는 독립적인 영향을 분리해 분석합니다.
5개 과제에 걸쳐 실증 평가를 수행하여 자기지도 기준선과 대등하거나 이를 능가하고, 대규모 주석 3D 데이터가 필요한 기하학적 감독 방식과 경쟁합니다.

잠재 공간 재구성 목적함수

RGB 대신 DINOv3 특징을 통해 감독 신호를 전달함으로써, 이 방법은 약한 저수준 학습 신호를 더 구조화된 가이드로 대체합니다. 잡음 요인이 포함되어 있고 의미론적 편향이 거의 없는 원시 픽셀과 달리, DINOv3 특징은 구조화된 다양체 위에 놓이며 조밀하고 공간적으로 국소화된 임베딩을 제공합니다. 이 선택의 근거를 제시하고 DINOv3 레이어를 체계적으로 스윕하여 그 효과를 정량화합니다.

다중 과제 표현 평가

고정된 학습 표현의 기하학적 정보는 대응, 위치 추정, 포즈 추정을 아우르는 5개 과제로 검증합니다. 모든 경우에 표현은 고정해 두고, 과제별 경량 헤드만 학습합니다.

분석: 디코더 표현력과 예측 타깃

목표는 단순히 새로운 시점 재구성을 최적화하는 것이 아니라 여러 기하학적 과제로 전이되는 장면 표현을 학습하는 것입니다. 두 목표는 서로 어긋날 수 있습니다. 인코더-디코더 NVS 모델은 타깃 시점을 정확하게 재구성하면서도 다중 시점 인코더에는 전이 가능한 공간 구조를 거의 담지 않을 수 있습니다. 학습된 다중 시점 표현에 전이 가능한 공간 구조가 인코딩되는지 여부에는 두 가지 주요 설계 요소, 즉 디코더 표현력과 예측 타깃이 영향을 미칩니다.

예측 공간이 표현 품질을 결정한다

예측 타깃은 모델이 어떤 정보를 인코딩하도록 압박받는지 결정합니다. 최근 NVS 모델은 일반적으로 픽셀 공간에서 재구성을 감독하므로, 전이 가능한 기하학적 정보보다 저수준의 외관, 텍스처, 조명을 강조할 수 있습니다. SNAP은 대신 잠재 특징 예측을 사용합니다. 초기 ViT 레이어는 RGB에 더 가깝고, 더 깊은 레이어는 조명이나 에일리어싱과 같이 기하학적이지 않은 인공 요소에 강건한 고수준 구조 추상화를 제공합니다.

실험에서는 특징화 입력에 사용하는 DINOv3 레이어와 예측 타깃에 사용하는 레이어를 모두 스윕하여, 입력과 타깃 각각에 어떤 특징 공간이 새로운 시점 예측에 최적인지 살펴봅니다. 결과로 얻은 인코더는 RE10K와 DL3DV 검증 하위 집합에서 특징 재구성 오차, 최근접 이웃 점 대응(PCK@0.1), 패치 검색(MRR), TwoNN 추정기를 사용한 내재 차원으로 평가합니다.

실험

SNAP은 고정된 인코더 특징과 과제별 경량 디코더 헤드를 사용해 5개 과제에서 평가합니다. 이 프로토콜은 사전 학습 중 학습된 내재적 공간 구조를 분리해 평가하며, 과제별 미세 조정 데이터의 교란 없이 즉시 사용할 수 있는 일반화 성능을 검증합니다.

도메인 전이를 평가하기 위해 프로토콜을 분리합니다. 점 대응과 상대 포즈는 사전 학습 데이터셋인 RealEstate10K와 DL3DV의 검증 분할에서 평가합니다. 깊이 추정과 로봇 조작은 비전 백본이 접하지 않은 Hypersim, 7Scenes, MimicGen 도메인에서 평가하여 도메인 외 일반화 성능을 측정합니다.

LVSM과 RayZer를 포함해 잠재 표현이 공간적으로 정렬되지 않은 퍼시버 계열 NVS 방법의 경우, 잠재 표현에 공통된 공간 토큰 그리드를 대상으로 교차 어텐션을 적용합니다. 모든 다운스트림 특징은 결과로 나온 공간 그리드 토큰에서 계산하여, 공간 인덱스가 있는 인코더 방식과 공정하게 비교합니다.

시각적 위치 추정

시각적 위치 추정은 쿼리 이미지를 참조 맵과 대조하고 절대 카메라 포즈를 추정해야 하므로, 큰 시점 변화에서도 패치별 판별력과 전역 기하학적 일관성을 함께 요구합니다. 평가에서는 고정된 인코더 특징을 이용해 6D 회전 행렬과 3D 이동을 직접 출력하는 경량 회귀 헤드를 학습합니다.

SNAP은 대부분의 지표에서 자기지도 모델 중 새로운 최고 수준을 기록하며, 수용 영역 제한으로 유도된 구조화된 특징이 국소 대응을 넘어 전역 포즈 추론에도 일반화됨을 확인합니다.

결론

현재 사전 학습은 포즈 정보가 있는 동영상 시퀀스와 정적이고 텍스처가 있는 장면에 의존하며, 이 연구의 결과는 고정된 연산량 및 데이터 예산에 한정되어 아키텍처의 전체 스케일링 법칙을 아직 밝히지 못했습니다. 그럼에도 SNAP은 피드포워드 새로운 시점 합성이 자기지도 기하학 사전 학습을 위한 유효하고 강력한 접근법임을 보여줍니다. 이 패러다임을 동적 동영상으로 확장하는 것은 이 접근법을 파운데이션 모델로 확립하기 위한 중요한 다음 단계입니다. 더 넓게 보면, NVS의 풍부한 기하학적 신호는 두 가지 아키텍처상의 문제를 바로잡을 때 가장 잘 활용됩니다. 인코더가 맡아야 할 공간 추론을 흡수할 만큼 표현력이 높은 디코더, 그리고 저수준 통계로 그래디언트를 오염시키는 픽셀 공간 타깃이 그것입니다.

사전 학습 설정

최적화

여러 종류의 GPU 하드웨어에서 분산 데이터 병렬(DDP)을 사용해 유효 배치 크기 256으로 40,000 스텝 동안 학습했습니다. AdamW 옵티마이저를 사용했으며, 최고 학습률은 지정된 최고 학습률이고 가중치 감쇠는 0.02였습니다. 학습률은 처음 2,000 스텝 동안 선형 워밍업한 뒤, 0을 향해 감소하는 코사인 어닐링 스케줄을 따릅니다. 학습 안정성을 유지하기 위해 최대 노름 0.5로 그래디언트 클리핑을 적용합니다.

지수 이동 평균

학습된 표현을 안정화하기 위해 감쇠율 0.999로 학습 가능한 모든 파라미터의 지수 이동 평균(EMA)을 유지합니다. EMA에는 포즈 정보 없이 작동하는 다중 시점 인코더와 잠재 특징 재구성 예측기 역할을 하는 포즈 조건부 로컬 디코더를 포함해 아키텍처의 모든 구성 요소가 들어갑니다. 본문에 보고된 모든 실증 평가와 다운스트림 기하학적 프로브는 이 EMA 가중치를 사용합니다.

점 대응

레이블 생성

RealEstate10K, DL3DV-10K, Hypersim의 학습 분할에서 이미지 쌍을 사용해 학습 레이블을 생성합니다. 데이터셋에 따라 두 가지 전략을 사용합니다.

RE10K 및 DL3DV: 동결된 RoMa v2 매처를 사용해 의사 정답 대응점을 도출합니다. 고품질 감독을 보장하기 위해 이미지 쌍은 지정된 수의 신뢰도 높은 매칭을 포함하도록 필터링합니다.
Hypersim: 제공된 깊이 맵과 카메라 포즈를 사용한 교차 투영으로 정확한 정답 대응점을 계산합니다.

디코드 단계는 교차 어텐션 레이어 3개로 구성되고, 위치 추정 단계도 교차 어텐션 레이어 3개로 구성됩니다. 최종 매칭 단계에서는 그래디언트 간섭을 방지하기 위해 쿼리와 키에 서로 독립적인 선형 투영을 적용합니다. 유사도 히트맵을 계산하기 전에 정규화된 쿼리-키 내적에 학습 가능한 로그 파라미터화 온도 스칼라를 곱하며, 이 값은 1.0으로 초기화합니다. 결과 유사도 히트맵에 미분 가능한 공간적 기댓값을 적용해 최종 예측 좌표를 얻습니다.

최적화

대응점 헤드는 유효 배치 크기 128로 20,000 스텝 동안 학습합니다. AdamW 옵티마이저를 사용하며, 최고 학습률은 지정된 최고 학습률로 설정하고 2,000 스텝의 선형 워밍업과 코사인 어닐링 스케줄을 적용합니다. 평가 프로토콜에 명시된 대로, 외부 포즈 신호의 영향을 배제하고 인코더 자체의 기하학적 인식 능력을 분리하기 위해 모든 뷰를 항등 카메라-월드 포즈와 픽셀 단위 내부 파라미터로 인코딩합니다. 모든 데이터셋의 홀드아웃 검증 분할에서 평가합니다.

시각적 위치 추정

아키텍처

시각적 위치 추정 헤드는 포즈가 주어지지 않은 쿼리 이미지를 참조 다중 시점 컨텍스트와 대조해 절대 타깃 포즈를 회귀하도록 설계되었습니다. 타깃 포즈는 연속적인 6D 회전 표현과 3D 이동으로 이루어진 9개 파라미터로 표현합니다.

회귀 헤드는 타깃 시퀀스를 처리하는 자기 어텐션 레이어와 참조 컨텍스트를 읽는 교차 어텐션 레이어를 번갈아 사용합니다. 학습된 CLS 토큰을 타깃 이미지 시퀀스 앞에 추가하고, 시퀀스 위치를 인코딩하기 위해 1D RoPE를 적용합니다. 트랜스포머 블록에서 토큰을 처리한 후, 정제된 CLS 토큰을 추출해 최종 다층 퍼셉트론에 전달하여 9개의 포즈 파라미터를 출력합니다. 초기 학습을 안정화하기 위해 최종 선형 레이어의 바이어스는 항등 변환을 나타내도록 초기화합니다.

포즈 추정

최적화

시퀀스 헤드는 RealEstate10K와 DL3DV의 학습 분할에서 학습하고, 해당 데이터셋의 홀드아웃 검증 분할에서 평가합니다. 학습에는 최고 학습률 지정된 최고 학습률을 사용하고, 워밍업 2,500 스텝을 포함한 코사인 어닐링 스케줄을 적용합니다. 모델은 회전 및 이동 예측의 Smooth-L1 오차를 기반으로 한 9D 포즈 회귀 손실로 최적화합니다.