当前的视频世界模型完全忽略了几何结构。它们仅基于 RGB 数据训练，训练损失也无法为消除像素序列底层的 3D 歧义提供信号。因此，模型可能生成视觉上看似合理、几何上却前后矛盾的过程：同一场景在不同视角下的预测深度不一致，难以进行遮挡与接触相关的几何推理，而且物体的形状和身份会随着生成过程逐渐失真。对于需要从生成过程中读取信息的下游应用，这种不一致性是主要瓶颈。
主要贡献
本研究提出一套校准流程，可从任意已知 URDF 的多视图立体遥操作数据集中恢复度量深度和精确的多视图外参。该流程将学习式立体深度与联合因子图优化相结合，汇集同一实体机器人的所有操作回合，以恢复共享运动学参数——包括关节偏移和手眼标定——以及各场景的外参。将该流程应用于 DROID 后，研究团队构建了 DROID-3D：一个经过标定的 3D 数据集，包含超过 70,000 个操作回合的稠密度量深度和重新标定的多视图外参。
本研究还提出了 DepthWorld，这是一种基于 Stable Video Diffusion 的世界模型，通过空间潜变量平铺联合预测多视图 RGB 与深度，同时保持预训练 VAE 不变。
在相同训练预算下，深度监督能够提升 RGB 预测效果：与架构和数据均相同的纯 RGB 基线相比，DepthWorld 的 PSNR 提高了 [报告的 PSNR 提升值，单位为分贝]。
构建大规模机器人操作 3D 数据集
近年来，基于学习的几何视觉模型取得的进展，在很大程度上依赖于提供稠密度量深度和经过标定的相机位姿的大规模数据集。机器人操作领域缺乏规模相当的此类资源。DROID 等大型遥操作数据集提供了丰富的视觉多样性和具身动态信息，但其原始几何标注达不到几何预训练所需的监督质量。
所提出的方法以一个具有已知运动学模型（URDF）的多视图立体遥操作数据集为输入，生成处于机器人坐标系中的校准 RGB-D 数据集。该方法分两个阶段应对这一领域在视觉和标定方面的挑战。
阶段 1：初始多视图标定
阶段 1 将每个场景中独立标定的相机整合为内部一致的相机组，并将其大致定位于机器人坐标系中。其精度足以将机器人的 URDF 模型渲染到各视图中，并在阶段 2 与真实图像进行匹配。
构建 3D 一致的世界模型
DepthWorld 旨在生成预测深度和 RGB 共同构成单一、几何一致的 3D 世界的视频过程，而非彼此独立、仅在视觉上看似合理的帧。它将 DROID-3D 中的稠密度量深度和标定外参作为直接训练信号。
将几何预测整合到最先进的视频世界模型中，主要有两项挑战。首先，修改 Stable Video Diffusion（SVD）等预训练骨干网络——例如扩展通道或采用双分支网络——会破坏模型赖以发挥作用的强大外观与运动先验。其次，对各视角分别进行深度监督，并不能直接促使不同相机视角之间实现 3D 一致性。
DepthWorld 通过两种机制应对这些挑战。它不改变 U-Net 架构，而是利用变分自编码器（VAE）将深度编码为图像的能力，采用空间潜变量平铺，将 RGB 和深度并排放置在更宽的潜变量网格中。为了增强跨视角一致性，它通过轻量级点图预测头施加机器人坐标系辅助监督，将预测结果投影到机器人的物理基座坐标系中，并以统一的 3D 点图作为监督目标。
通过空间平铺联合预测 RGB 与深度
Marigold 表明，图像扩散 VAE 能够忠实地编码和解码深度图。基于这一发现，DepthWorld 将深度作为独立图像与 RGB 一同编码，并在潜变量空间中对二者进行平铺。两者分别由未经修改的 SVD VAE 编码后并排放置，因此 U-Net 接收的宽幅潜变量网格同时覆盖这两种模态。网络唯一的改动是扩展空间位置嵌入，以覆盖更宽的网格。
机器人坐标系点图监督
逐视角深度去噪会将每个预测深度图分别与其对应的目标进行训练；如果同一场景不同相机视角下的预测深度彼此不一致，训练过程中并不会对此施加明确惩罚。DepthWorld 将预测结果提升到机器人基座坐标系中，并在该坐标系下计算损失，从而明确约束跨视角一致性。
结论与致谢
本研究获得欧盟“地平线欧洲”项目 AGIMUS（No. 101070165）、euROBIN（No. 101070596）、ERC FRONTIER（No. 101097822）、ELIAS（No. 101120237）和 ELLIOT（No. 101214398）的支持；同时获得 ČVUT 启动资助“DREAM-ACT”（Project ID CVUT-StG-26-089）和 CTU Future Fund（Project ID CVUT-BrF-26-22825M）的支持。
本研究还获得欧盟“地平线欧洲计划”资助协议 No. 10113667（CLARA Project）的支持，并由欧盟“扬·阿莫斯·夸美纽斯运营计划”（OP JAK）共同资助，项目为“系统脑研究中的人工智能与量子计算中心”，注册号 CZ.02.01.01/00/23_029/0008437。计算资源与基础设施由捷克共和国教育、青年与体育部通过 e-INFRA CZ（ID:90254）提供支持。
逐视角度量深度
每台 DROID 相机——两台安装在桌面上的 ZED 2 外部相机和一台安装在腕部的 ZED Mini——都是具有已知基线的校准立体相机。因此，计算度量深度只需预测每个像素的视差。对于给定像素及其预测视差，可通过直接三角测量得到度量深度。
DROID-3D 标定定性结果与基线对比
更多定性对比展示了所提方法与基于 Point World 的基线所得到的位姿。
深度预处理的依据
原始深度图经过四步流程，转换为可由 VAE 编码的灰度图像；该流程旨在使深度数据保持在 Stable Video Diffusion（SVD）VAE 的预训练分布范围内：
- 通过反投影和 z 缓冲最小池化，将深度下采样至工作分辨率，而非使用双线性插值。这样可以保留前景几何，并防止物体边界处出现“飞点”伪影。
- 将深度裁剪至各相机深度分布的第 95 百分位：指定的外部相机和腕部相机裁剪距离。这既限制了 VAE 输入范围，又保留了与操作相关的内容。
- 通过对数变换压缩动态范围，为近距离物体分配更多表征能力，因为操作精度对这类物体尤为重要。
- 将数值归一化至 VAE 预期的输入范围，并将单通道复制为三个通道。
标定基线的调整
为公平评估联合因子图优化与基于 PointWorld 的逐场景优化基线，研究团队对基线使用的深度来源进行了调整。对比实验没有采用原始 PointWorld 流程中的 FoundationStereo，而是使用所提出的全局匹配深度。这样可以将性能差异归因于优化结构的差别——逐场景优化与机器人耦合的联合图优化——而非深度预测器的差异。
几何标定指标
由于 DROID 没有真实外参，研究团队使用四项几何代理指标评估标定质量：
- 外部相机间（EE）重投影误差： 两台外部相机之间的中值像素重投影误差；计算时使用通过 MAGSAC 提取的金标准内点集，并施加极线约束和基于 Kabsch 的 3D 对齐。
- 腕部相机与外部相机间（WE）重投影误差： 动态腕部相机与固定外部相机之间测得的类似中值像素重投影误差。
- 机器人深度误差（RD）： 预测深度图与使用优化后的外参和关节角度渲染机器人 URDF 所得深度之间的中值绝对差，单位为毫米。
- 掩码 IoU： URDF 渲染得到的机器人轮廓掩码与 RoboEngine 根据真实图像生成的机器人真实分割掩码之间的交并比。
与 TesserAct 的比较
TesserAct 是一种文本条件、单视角 RGB–深度–法线（RGBDN）视频模型，基于 CogVideoX-5b-I2V 构建；后者是一种拥有 5B 参数的图像到视频扩散 Transformer。二者无法直接比较：TesserAct 不具备动作条件输入，仅使用单个相机视角，且训练数据不同。因此，本研究对其进行了最低限度的适配，并使用与 DepthWorld 相同的操作回合和相同的训练步数重新训练。
常见问题
DepthWorld 是什么？ DepthWorld 是一种基于 Stable Video Diffusion 的世界模型，采用空间潜变量平铺联合预测多视图 RGB 与深度。
DROID-3D 是什么？ DROID-3D 是从 DROID 派生的校准 3D 数据集，包含超过 70,000 个操作回合的稠密度量深度和重新标定的多视图外参。
DepthWorld 如何促使不同相机视角之间保持一致？ 它采用机器人坐标系辅助监督，将预测结果提升到机器人基座坐标系中，并与统一的 3D 点图进行比较。
如何为模型准备度量深度图？ 先通过反投影和 z 缓冲最小池化进行下采样，再进行裁剪、对数变换、归一化至 VAE 预期的输入范围，最后复制为三个通道。