从图像中理解几何是计算机视觉的基础。DUSt3R、MASt3R 和 VGGT 等方法表明，在大规模带标注的 3D 数据上训练后，Transformer 能够生成丰富且可迁移的几何表征。这类方法对监督信号的依赖构成了根本瓶颈，因为大规模采集密集的 3D 真值成本高昂。
新视角合成（NVS）提供了一种颇具吸引力的替代方案。这类模型必须推理 3D 场景结构，才能预测未见过的视点；它们可从已知位姿的图像中获得丰富的几何监督信号，而这类图像在视频、机器人平台和运动恢复结构（SfM）流程中十分充足。然而，前馈式 NVS 方法生成的表征在下游几何任务中的迁移效果较差。我们认为，迁移效果不佳并非监督信号失效，而是架构设计失当所致；其中有两个明确且可分别解决的设计选择会削弱信号。
首先，空间表达能力强的解码器往往会承担任务的大部分表征负荷。如果解码器容量足以根据任意编码器输出重建目标视图，编码器便不会受到足够压力去维持结构化且具有局部判别性的特征。尽管重建任务得以完成，潜在表征却未能扎根于几何结构。其次，像素空间重建目标要求模型刻画与 3D 结构和语义关联较弱的高频混叠统计特征。因此，重建损失产生的梯度会促使表征编码器保留细粒度、特定于图像的统计特征，而这些特征并不能直接反映底层 3D 结构或语义。
SNAP 是一种自监督多视图空间推理骨干网络。它基于冻结的 2D 语义潜在空间，采用非对称 NVS 预测目标和潜在特征目标，在无需密集 3D 监督的情况下学习具有几何迁移能力的表征。
本文提出：
- 通过感受野扫描和预测空间景观实验，开展机理分析，分别剖析解码器表达能力与预测空间对几何迁移的影响。
- 在五项任务上进行实证评估，结果达到或超过自监督基线，并与依赖大规模带标注 3D 数据的几何监督方法相竞争。
相关工作
SNAP 位于自监督表征学习、新视角合成和几何基础模型的交汇处。
潜在空间重建目标
通过使用 DINOv3 特征而非 RGB 传递监督信号，该方法以结构更丰富的引导替代了较弱的低层训练信号。与含有干扰性变化且本身对语义缺乏偏置的原始像素不同，DINOv3 特征位于结构化流形上，并提供稠密且空间定位明确的嵌入。本文通过系统扫描 DINOv3 的不同层来说明这一选择的依据，并量化其效果。
表征的多任务评估
本文在涵盖对应、定位和姿态估计的五项任务上，检验冻结的学习表征所包含的几何信息。所有任务中，表征始终保持冻结；仅训练轻量级的任务专用头部。
分析：解码器表达能力与预测目标
目标是学习能够迁移至多种几何任务的场景表征，而不只是优化新视角重建。这两个目标可能并不一致：编码器—解码器式 NVS 模型可以准确重建目标视图，却几乎不在多视图编码器中保留可迁移的空间结构。两个关键设计因素会影响学习到的多视图表征能否编码可迁移的空间结构：解码器表达能力和预测目标。
预测空间决定表征质量
预测目标决定模型需要编码哪些信息。近期 NVS 模型通常在像素空间中对重建结果进行监督，这可能使模型侧重低层外观、纹理和光照，而非可迁移的几何信息。SNAP 则采用潜在特征预测：较浅的 ViT 层与 RGB 更接近，而较深的层能够形成高层结构抽象，并对光照和混叠等非几何伪影具有鲁棒性。
实验分别扫描用作特征化输入的 DINOv3 层和用作预测目标的层，探究新视角预测中输入端与目标端各自的最优特征空间。随后，使用 RE10K 和 DL3DV 验证子集评估生成的编码器，指标包括特征重建误差、最近邻点对应（PCK@0.1）、图像块检索（MRR）以及使用 TwoNN 估计器计算的内在维数。
实验
SNAP 在五项任务上进行评估，使用冻结编码器特征和轻量级任务专用解码头。该评估方案能够分离预训练期间学到的内在空间结构，在不受任务专用微调数据混淆的情况下检验开箱即用的泛化能力。
为评估领域迁移，评估方案分为两部分：在预训练数据集 RealEstate10K 和 DL3DV 的验证集上评估点对应和相对姿态；在视觉骨干网络从未见过的领域——Hypersim、7Scenes 和 MimicGen——上评估深度估计和机器人操作，以衡量分布外泛化能力。
对于 LVSM 和 RayZer 等潜在表示没有空间组织结构的感知器式 NVS 方法，会将其潜在表示与共享的空间词元网格进行交叉注意力计算。所有下游特征均从生成的空间网格词元中计算，确保与具有空间索引的编码器方法进行公平比较。
视觉定位
视觉定位需要将查询图像与参考地图匹配，并估计绝对相机位姿，因此必须在视点大幅变化时兼顾图像块级别的可区分性和全局几何一致性。评估时，在冻结的编码器特征上训练轻量级回归头，直接输出 6D 旋转矩阵和 3D 平移。
在大多数指标上，SNAP 在自监督模型中树立了新的标杆，证实由感受野限制所形成的结构化特征不仅能泛化至局部对应，也能用于全局位姿推断。
结论
当前预训练依赖带位姿的视频序列和静态、有纹理的场景；此外，研究结果受固定算力和数据预算所限，尚未揭示该架构完整的缩放规律。尽管如此，SNAP 仍表明，前馈式新视角合成是自监督几何预训练的有效强大工具。将这一范式扩展到动态视频，是推动其成为基础模型的关键下一步。更广泛而言，结果显示，只有纠正两种架构缺陷，才能充分利用 NVS 丰富的几何信号：表达能力过强、因而吸收了本应由编码器承担的空间推理的解码器，以及会将低层统计特征混入梯度的像素空间目标。
预训练设置
优化
训练共进行 40,000 步，使用 256 的有效批量大小，并在多类 GPU 硬件上通过分布式数据并行（DDP）运行。优化器采用 AdamW，峰值学习率为指定的峰值学习率，权重衰减为 0.02。学习率先在前 2,000 步线性预热，随后采用余弦退火调度，逐渐衰减至零。梯度裁剪的最大范数设为 0.5，以保持训练稳定。
指数移动平均
为稳定学习到的表征，对所有可训练参数维护指数移动平均（EMA），衰减率为 0.999。EMA 覆盖架构的所有组件，包括无位姿多视图编码器和位姿条件局部解码器；后者充当潜在特征重建预测器。正文中报告的所有实证评估和下游几何探测均使用这些 EMA 权重。
点对应
标签生成
使用来自 RealEstate10K、DL3DV-10K 和 Hypersim 训练集的图像对生成训练标签。根据数据集不同，采用两种策略：
- RE10K 和 DL3DV：使用冻结的 RoMa v2 匹配器生成伪真值对应。为确保监督质量，仅保留至少包含指定数量的高置信度匹配的图像对。
- Hypersim：利用提供的深度图和相机位姿，通过交叉投影计算精确的真值对应。
解码阶段包含三个交叉注意力层，定位阶段也包含三个交叉注意力层。在最终匹配阶段，对查询和键分别进行独立线性投影，以避免梯度相互干扰。计算相似度热图前，将归一化的查询—键点积乘以一个可学习、以对数参数化的温度标量；该标量初始化为 1.0。随后，对生成的相似度热图进行可微分的空间期望计算，得到最终预测坐标。
优化
对应头训练 20,000 步，有效批量大小为 128。优化器采用 AdamW，峰值学习率为指定的峰值学习率，并使用 2,000 步线性预热和余弦退火调度。根据评估方案，所有视图均在单位相机到世界坐标位姿和以像素为单位的内参下进行编码，以将编码器的内在几何感知能力与外部位姿信号区分开来。评估在所有数据集的留出验证集上进行。
视觉定位
架构
视觉定位头旨在通过将无位姿查询图像定位到参考多视图上下文中，回归目标的绝对位姿。目标位姿使用九个参数表示：连续的 6D 旋转表示和 3D 平移。
回归头采用交替排列的 Transformer 层：自注意力层处理目标序列，交叉注意力层则读取参考上下文。目标图像序列前置一个可学习的 CLS 词元，并应用 1D RoPE 编码序列位置。词元经 Transformer 模块处理后，提取经过优化的 CLS 词元，并输入最终的多层感知机，输出九个位姿参数。为确保训练初期稳定，最终线性层的偏置初始化为表示恒等变换的值。
姿态估计
优化
序列头使用 RealEstate10K 和 DL3DV 训练集进行训练，并在相应的留出验证集上评估。训练采用指定的峰值学习率，并使用包含 2,500 步预热的余弦退火调度。模型通过基于旋转和平移预测的 Smooth-L1 误差构造的 9D 位姿回归损失进行优化。
常见问题
SNAP 的学习目标是什么？ SNAP 通过自监督多视图空间推理，从带位姿图像中学习具有几何迁移能力的表征，无需密集 3D 监督。
为什么 SNAP 使用潜在特征预测，而不是 RGB 重建？ DINOv3 特征提供结构化且空间定位明确的引导，而像素空间目标可能会侧重低层外观、纹理、光照和混叠。
解码器表达能力如何影响几何迁移？ 容量充足的解码器可以独自承担重建任务，从而减轻编码器维持结构化、具有局部判别性特征的压力。
使用哪些下游任务评估这些表征？ 本文评估了涵盖对应、定位和姿态估计的五项任务，以及深度估计和机器人操作。