单一视频世界模型利用机器人渲染实现跨本体预测

单一视频世界模型利用机器人渲染实现跨本体预测

Yash Jangir, Karan Mirakhor, Renos Zabounidis, Muhammad Zubair Irshad, Sergey Zakharov +2 位

1 分钟阅读•2026年11月19日

核心思路是明确提供机器人的预期运动,让视频模型专注于预测其对环境产生的影响。首先,恢复相机相对于机器人基座的位姿。随后,从该视角沿给定的配置轨迹渲染机器人。Doppel 使用一种渲染增强型动作条件适配器,将这些渲染图像与数值关节和夹爪轨迹结合起来。渲染图像显示机器人在画面中的运动位置,数值输入则保留可能难以从图像中辨认的配置信息。这种表示为 Doppel 提供条件输入;Doppel 是一个供不同机器人本体共用的单一图像转视频模型。

Doppel

Doppel 需要从与记录观测相同的视角渲染机器人。然而,源数据集中的相机外参可能缺失或不一致。该方法通过优化相机的六个自由度,利用 RGB、光流和 DINOv2 特征,使渲染的机器人轨迹与记录视频对齐,从而恢复相机到机器人的变换。机器人渲染器保持固定;该方法采用分析合成方法,仅优化相机位姿。

渲染增强型稠密动作表示

机器人渲染图像与数值动作相结合,为每个视频 token 生成一个条件向量。渲染图像描述机器人在图像空间中的运动,数值动作则提供关节和夹爪信息,这些信息可能被遮挡,或因单一视角而难以判断。

渲染增强型动作条件适配器的架构

讨论、局限与结论

该方法需要准确的机器人几何模型、URDF 和相机标定来生成渲染图像。虽然可以从离线数据集中恢复缺失的外参,但未知或快速变化的视角仍然构成局限。具备相机感知能力或相机不变性的表示或许能减少对这些信息的依赖。

该方法还以配置轨迹作为条件输入。要处理不完美的几何模型或更底层的控制指令,就需要对机器人运动和执行的不确定性进行建模。评估涵盖训练期间见过的机器人本体,且每条轨迹仅使用一个相机。向未见过的机器人本体迁移、多视角预测和更长时域预测留待未来工作。将预训练视频模型与学习得到的 3D 表示结合,或许能进一步减少对显式像素级对齐的需求。

网站与视频

项目网页提供了更多定性结果,包括覆盖全部八个数据集的扩展视频对比、长时域展开示例、轨迹与环境泛化示例,以及与基线方法的并排对比。作者鼓励读者访问网页查看完整视频结果,因为仅凭论文中的静态图表难以全面呈现这些结果。

渲染流程

该方法使用可动高斯机器人模型和目标相机标定,沿给定的关节和夹爪轨迹渲染机器人。世界模型训练期间,渲染器保持固定。RGB 观测、机器人配置和渲染帧采用相同的源帧采样索引构建,确保所有条件信号在时间上对齐。构建训练窗口时,还会检查缓存的渲染图像,确保它们对应相同的时间采样网格。

仅含机器人的渲染图像直接以图像坐标编码机器人本体的几何形状和运动;其中不包含未来场景或物体信息。三个数据集中的代表性对齐示例展示了渲染的机器人轨迹与对应 RGB 观测之间的匹配情况。

对于每种机器人本体,该方法都使用可微机器人渲染框架。以机器人的 URDF 为起点,按照原始渲染器架构和训练流程训练可动高斯模型。每种机器人本体都单独训练一个渲染器;训练 Doppel 时,其参数保持冻结。

ABC 中的双臂 YAM 机械臂使用以相同方式针对 YAM 训练的 DrRobot 模型进行渲染。T-Rex 中的 Vega-1 人形机器人及其 Sharpa 手部,使用数据集发布的头部相机标定和机器人的 URDF 网格进行渲染。人物则使用拟合的人体与手部网格进行渲染:GigaHands 使用 MANO 手部模型,OakInk2 使用 SMPL-X,Ego-Exo4D 使用 SMPL-H,网格采用 Maddukuri 和 Pavlakos 的版本。所有网格均通过数据集的相机模型进行光栅化,包括镜头畸变。所有渲染图像均使用黑色背景,且仅包含机器人本体。

渲染的机器人轨迹与记录观测对齐

适配器架构细节

渲染—动作适配器包含约 [所提供的文本未说明参数量] 个参数,并在所有机器人本体之间共享。

仅含机器人的渲染图像较为稀疏,大多数空间位置都是空白背景。首先,使用 Wan 2.1 的同一个冻结因果 VAE 对渲染序列进行编码。在应用可训练的渲染编码器之前,会减去每个样本、每个通道的时空均值。

这样可以避免空白背景导致渲染 token 彼此过于相似。如果跳过这一步均值扣除,适配器可能会退化为零权重。该操作在 [所提供的文本未说明表示或空间] 中计算,因为与空白渲染背景的共同潜在响应相比,机器人信号可能较弱。

基线方法重新实现

纯动作基线遵循 EgoWM 的条件机制。该方法以 Doppel 使用的同一 Wan 2.1 图像转视频骨干网络为起点,完全移除渲染编码器和渲染—动作融合模块。每个时间步的数值机器人配置使用与 Doppel 相同的、按机器人本体计算的统计量进行归一化,再经过 MLP 和 1D 时间卷积投影,并通过骨干网络的时间步调制通路注入。因此,该基线接收与 Doppel 相同的数值机器人轨迹,但不接收与相机对齐的机器人渲染图像。

其余所有组件均与相应的 Doppel 配置保持一致,包括骨干网络初始化、训练片段、片段构建方式、优化计划、条件丢弃和训练预算。所有模型均在完全相同的验证集和测试集划分上评估。论文中提及了完整的单一本体训练方案,但所提供的文本未包含其表格数据。因此,这一基线提供了数值纯动作条件输入与 Doppel 条件输入之间的受控比较。

评估指标

生成视频与参考视频在 [所提供的文本未说明分辨率] 下进行比较。所有指标均不包含条件帧,并在十六个预测帧上计算。除非另有说明,先对每个片段内的时间维度取平均,再对所有片段等权平均。未定义的分数不纳入统计。

报告的指标包括峰值信噪比(PSNR)、结构相似性(SSIM)和学习感知图像块相似度(LPIPS)。PSNR 衡量像素级重建保真度,SSIM 衡量亮度、对比度和结构的局部一致性,LPIPS 则利用预训练 AlexNet 特征衡量感知差异。每项指标均针对每个预测帧独立计算,并在预测时域内取平均。PSNR 和 SSIM 越高越好,LPIPS 越低越好。

结果

所有实验均提供了更多定性结果。论文还展示了一个轨迹泛化示例,对比 Doppel 与基线方法。

常见问题

Doppel 如何以机器人运动为条件生成视频? 它将机器人渲染图像与数值关节和夹爪轨迹相结合,为视频 token 生成条件向量。

Doppel 为什么同时使用渲染图像和数值动作? 渲染图像显示机器人在图像空间中的运动,数值动作则保留可能被遮挡或因单一视角而难以判断的关节和夹爪信息。

渲染流程需要什么? 它需要机器人几何模型、URDF 和相机标定;每种机器人本体都单独训练一个可动高斯渲染器,并在 Doppel 训练期间保持冻结。

还有哪些局限? 该方法依赖准确的几何模型和相机标定,且评估仅涵盖训练期间见过的机器人本体,并且每条轨迹仅使用一个相机。向未见过的机器人本体迁移、多视角预测和更长时域预测留待未来工作。