要在物理世界中实现智能感知与行动，具身智能体必须理解世界的 3D 结构，并预测其随时间的变化。然而，视觉观测只提供世界不完整的 2D 投影，每个投影所呈现的视角、可见表面和随时间发生的变化都有限。因此，稳健的 4D 场景理解需要推断无法直接观测到的内容：3D 几何、相机视角、未观测视角下的场景外观，以及场景的演变过程。
在这项工作中，我们提出 UGG，这是一种统一的生成式几何模型，将视觉生成和几何预测视为针对同一底层 4D 场景表示的不同条件查询。外观（RGB 视频）、3D 结构（深度）和视角（相机几何）为动态场景提供互补观测。根据已观测的信息，联合模型可以推断缺失的场景组成部分。
我们的生成式建模方式还支持在推理时搜索多种合理的场景补全结果。我们不将预测局限于单一几何结果，而是采样多个候选结果，并通过光度重投影衡量跨模态一致性，选出一致性最强的结果。这种推理时搜索能力也与将感知视为推断的认知理论相契合：人类理解场景时，需要根据不完整观测推断潜在的场景成因，并可能借助内部模拟来评估不同的场景解释。
总体而言，我们的贡献有三点：(i) 我们将 4D 场景理解表述为对外观与几何进行联合生成式建模，并将视觉生成和几何预测视为单一条件模型中的缺失模态去噪任务。(ii) 我们提出一种统一的生成-预测模型，将 RGB、深度和相机姿态表示为空间对齐的模态，从而支持任意条件输入，并能从监督信息不完整的异构数据集中学习。(iii) 我们利用生成式建模方式，在推理时搜索多个 4D 场景假设，并通过几何一致性提升几何预测效果。
方法
我们提出一种用于 4D 场景理解的统一生成-预测框架。给定场景的部分观测，我们的目标是推断出包含外观、深度和相机几何的完整场景表示。我们将视觉生成和几何预测都表述为联合生成模型中的条件补全任务，该模型包含空间对齐的 RGB、深度和相机射线模态。我们通过在多模态 token 上设置噪声模式来定义各项任务：已观测 token 作为零噪声上下文，缺失 token 作为含噪目标。该框架支持模态监督不完整的异构训练数据、任意部分条件输入，以及在测试时搜索多个 4D 场景假设。
统一的 4D 场景表示
由此得到的场景表示，即外观与局部 3D 几何的联合表示，为每一帧包含外观和局部 3D 几何，构成按帧索引的场景表示。
生成-预测 Transformer
基于空间对齐的表示，即 RGB、深度和相机射线的联合表示，我们设计了一种多模态扩散 Transformer，用于联合处理外观、深度和相机射线几何。
每个 token 都经过模态专用的 patch 嵌入层处理，并采用时空 RoPE 位置编码，该编码作用于潜在空间坐标和帧索引。如果 VAE 编码器执行时间下采样，潜变量数量可能与帧数不同；为简化记号，我们省略这一点，仍将帧数或潜变量数称为序列长度。
在输出阶段，RGB 和深度 token 通过 VAE 解码器还原至像素空间。射线图 token 则直接映射回稠密射线图，并可进一步转换为相机参数，包括旋转、平移和内参。
以噪声掩码实现条件补全
在零扩散时刻，token 完全干净；而在终止扩散时刻，token 则为纯噪声。通过改变不同模态和时间位置上的噪声水平，我们无需修改模型架构，即可实现不同的条件生成和预测任务。
推理时搜索
与只能确定性地输出一个场景的预测器不同，生成式建模方式还支持推理时搜索。给定相同的观测上下文，我们从不同随机初始化出发，采样多个候选补全结果。每个样本都会生成一个完整的 4D 场景假设。
在没有真实深度或相机姿态的情况下，为了从这些假设中进行选择，我们评估每个假设对观测 RGB 帧中提取的几何证据的解释效果。完整公式和超参数见附录。
我们使用 RAFT 提取观测 RGB 帧之间的像素对应关系。为排除遮挡和运动物体带来的影响，我们只保留这样的对应关系：先向前映射再向后映射后，像素能够回到其原始位置。对于稠密观测，我们选择像素运动信息丰富的帧对，并根据观测到的光流幅度调整时间间隔。对于稀疏观测，生成和验证都只使用最前与最后的观测 RGB 帧。这些对应关系提供了几何约束，可用于评估候选深度和相机预测。
相机姿态估计
我们在稠密和稀疏设置下评估根据 RGB 观测进行相机姿态估计的效果，条件输入为完整视频或仅首尾帧。相机射线 token 经过去噪后转换为相机参数，以此检验能否在同一条件补全框架中，将相机几何作为缺失模态进行预测。
深度预测
我们在上一节所述的稠密和稀疏设置下，评估根据 RGB 观测进行深度预测的效果。两种设置中，深度 token 均从噪声初始化并经过去噪，以此检验统一条件补全模型能否学到有用的场景深度几何后验。
基线方法。我们与 Geo4D、ChronoDepth、Gen3R、Aether 和 Marigold 进行比较。这些基线包括专用深度与 4D 几何模型，以及一种统一模型；而我们的模型则针对 RGB-深度-相机补全任务进行训练。
几何预测的测试时搜索
我们通过在推理时采样多个 RGB-深度-相机补全结果，评估测试时搜索（TTS）能否提升几何预测效果。对于每个输入，我们从不同噪声初始化生成 16 个候选结果，并按照推理时搜索方法所述，分别依据各自的验证分数选择深度和姿态。
UGG (TTS Oracle) 针对每个输入，从相同的 16 个候选结果中选择一个：深度以经过尺度与平移对齐的真实 Abs Rel 最小为准，稠密姿态以 ATE 最小为准，稀疏姿态则以 tAE 最小为准。所有指标均针对选出的候选结果报告。总体而言，这些结果表明，推理时搜索是生成式建模的一项有前景的优势，但更强的搜索准则和验证方法仍有提升空间。
结论
我们提出了一种用于 4D 场景理解的统一生成式几何模型，将视觉生成和几何预测表述为基于 RGB、深度和相机射线的条件补全任务。通过对模态 token 设置噪声模式，单一模型即可在稠密和稀疏观测条件下支持相机控制生成与几何预测，同时能够从模态可用性各异的异构数据集中学习。在多个不同数据集上，UGG 在视频生成、深度预测和姿态估计方面表现出色，并通过测试时搜索进一步提升几何一致性。这些结果表明，利用生成模型联合建模外观与几何，是实现更通用的 4D 场景理解的一条有前景的方向。
目前，我们的模型并非在所有任务上都优于专用方法：针对任务优化的新视角合成（NVS）模型在像素对齐指标上仍表现更好，而专用几何模型在多项室内深度指标上仍更强。未来可以通过改进数据集平衡、加强几何监督，以及提升训练期间深度与相机的一致性来弥补这些差距。我们的测试时搜索还依赖 RGB 重投影误差；这一指标虽有用，但并非在所有情况下都可靠。学习得到的或多模态的一致性分数，或许能提供更强的搜索准则。最后，扩大训练规模、提高分辨率并使用更多样的数据，或可进一步提升视觉细节和几何精度。
模型架构
我们以 Wan2.2-TI2V-5B 为初始化模型，并将其扩散 Transformer 扩展为多模态 Mixture-of-Transformers 主干网络。预训练的视频 VAE 和文本编码器保持冻结，仅对扩散 Transformer 进行微调。模型联合处理四个潜在流，分别对应 RGB 视频、射线方向、射线矩和深度。两个射线潜变量沿通道维度拼接，并作为单一射线 token 流嵌入，因此 Transformer 实际处理三个 token 流：RGB、射线和深度。
训练目标与扩散强制
我们使用连续流匹配进行训练。我们按下文所述，为上下文组和目标组采样原始扩散时刻，并应用偏移后的调度方案。
给定一个干净潜变量，即未受扰动的表示，以及高斯噪声，即随机采样的噪声，含噪输入为干净潜变量与高斯噪声的混合，模型则预测流目标，即从噪声指向干净潜变量的目标变化方向。
损失是预测流与目标流之间的均方误差，分别针对 RGB、射线方向、射线矩和深度计算。对于没有射线图或深度监督的样本，相应损失会被屏蔽。
推理
推理时，相同的干净/含噪模式用于指定任务。在每个去噪步骤中，观测到的 RGB、深度或射线图 token 都会被固定为其干净值，并设为零扩散水平。未知 token 则以高斯噪声初始化，并逐步去噪。我们使用 UniPC 采样器，执行指定数量的去噪步骤，并采用训练时使用的同一偏移时间调度方案。在这种设置下，在单块 NVIDIA H100 或 H200 GPU 上，对一个 50 帧片段进行去噪约需 20 秒。
相机姿态评估
在稠密设置下，模型以完整 RGB 序列作为条件。按照 Geo4D 的做法，我们使用 Sim(3) Umeyama 对齐将预测轨迹与真实轨迹对齐。我们报告绝对轨迹误差（ATE）、平移相对姿态误差（RPE t）和旋转相对姿态误差（RPE r）。ATE 衡量对齐后的全局轨迹一致性，RPE 则衡量相邻帧之间局部运动的一致性。
致谢与经费披露
我们感谢哈佛大学 Kempner Institute 提供支持本研究的计算资源。Ayush Tewari 感谢 NVIDIA Academic Grant Program。
常见问题
UGG 对什么进行建模？ UGG 将 RGB 外观、深度和相机射线几何作为空间对齐的模态进行联合建模，以实现 4D 场景理解。
UGG 如何处理缺失的场景信息？ 它采用条件补全，将已观测 token 作为干净上下文，将缺失 token 作为需要去噪的含噪目标。
测试时搜索如何选择场景预测？ 它会采样 16 个候选补全结果，并根据观测 RGB 帧中的几何证据所计算的验证分数，选择深度和姿态预测。
相机姿态评估使用哪些指标？ 论文报告绝对轨迹误差，以及平移和旋转相对姿态误差。