DreamX 在异质的人类与机器人视频上训练，在 LARYBench 上的潜在动作模型中取得最先进的性能，并且无需成对训练数据即可实现任意到任意视频迁移和人到机器人动作迁移。作为下游应用，学习到的潜在动作可作为观测条件机器人策略的预测目标，执行时无需生成未来视频。这些结果表明，DreamX 学到了一种共享且可迁移的潜在动作空间，支持跨具身的动作迁移，也可作为下游策略学习的基础。
引言
主要贡献如下：
- DreamX 是一个利用预训练视频扩散模型的时空先验与生成先验来学习通用潜在动作的框架。由此得到的表征在 LARYBench 上的潜在动作模型中取得最先进的性能。
- 学到的潜在空间无需成对的源–目标训练数据，即可支持任意到任意视频迁移和人到机器人动作迁移。紧凑的潜在动作编码也可作为下游策略学习的预测目标。
前置知识：视频扩散模型
模型预测流速度。
通过在大规模视频数据上优化这一目标，模型获得了关于场景外观和合理动态变化的生成先验。当初始帧提供场景外观信息时，额外的条件信息会引导场景的演变方式。DreamX 利用这一特性，通过潜在动作引导未来帧重建；重建目标则监督潜在动作所编码的信息。
从视频扩散先验中学习通用潜在动作
DreamX 对预训练视频扩散骨干进行改造，使其承担两个互补的作用：将观测到的动态编码为潜在动作，并通过未来帧重建对其进行监督，从而促使运动信息与视觉外观分离。可学习查询从视频表征中读取信息，将观测到的动态概括为潜在动作；解码器则根据这些潜在动作和初始帧重建未来画面。编码器和解码器均使用视频扩散骨干，使其生成先验能够处理视觉外观，从而促使潜在动作标记专注于运动。
视频迁移
DreamX 通过在不同场景和具身之间迁移源运动，同时保留目标初始帧指定的外观来进行评估。评估考察任意到任意视频迁移，并对零样本人到机器人迁移进行定量评估。
结果展示了同一机器人在不同环境间、不同机器人具身之间，以及从人到机器人的运动迁移；其中一个 DAVIS 示例还扩展到了操作任务之外的场景。DreamX 在复现源运动的同时保留目标场景和具身。这些结果表明，学到的潜在动作在不同具身和环境间具有通用性，并可扩展到通用领域视频。
结论
DreamX 利用预训练视频扩散先验学习通用潜在动作。其时空表征提供与动作相关的动态信息，而生成先验则通过未来帧重建监督潜在动作学习。DreamX 在 LARYBench 上的潜在动作模型中取得最先进的性能，并且无需成对训练数据即可实现任意到任意视频迁移和人到机器人动作迁移。预测这些紧凑的潜在动作，也有助于利用人类与机器人演示数据高效地学习策略。总体而言，这些结果凸显了预训练视频模型作为基础的潜力，可用于跨具身学习可复用的动作表征。
AI 使用声明
生成式 AI 工具协助撰写和编辑稿件，以提升清晰度与可读性；协助实施过程中的代码编辑；并参与研究过程中的讨论。研究构想、方法选择、实验设计和结果解读均由作者提出、评估并最终确定。作者审阅了所有经 AI 协助生成的文本和代码，并对代码更改进行了正确性测试。作者对本研究的最终内容负责，包括文本、主张、代码，以及借助生成式 AI 制作的材料。
伦理声明
本研究使用的所有数据集均为公开数据集，包括附录中列出的人类第一人称视角数据集和机器人演示数据集。人类视频可能包含可识别的个人或周围环境，因此，任何再分发的示例都应遵守源数据集的使用条款和隐私要求。视频迁移结果为合成内容，应明确标注。跨具身迁移和机器人策略在已评估设置之外可能失效，部署前需要进行安全验证。
真实世界机器人设置
动作迁移和策略实验均使用双臂 YAM 机器人。动作空间由 14 维绝对指令构成，每条机械臂包含六个关节位置和一个夹爪指令。安装在俯视位置的 Intel RealSense D405 相机提供观测数据。
动作迁移详情
使用冻结的 DreamX 编码器从人类演示中提取潜在动作，并将其解码为机器人指令。随后以开环方式执行所得轨迹，不使用视觉反馈，并以人类潜在动作和机器人的初始本体感知状态作为条件。
策略评估详情
评估三种抽屉关闭配置：仅上层抽屉打开、仅下层抽屉打开，以及两个抽屉都打开。所有配置均使用指令“关闭抽屉”。当两个抽屉都打开时，机器人必须先关闭上层抽屉，再关闭下层抽屉。固定的俯视 RGB 相机用于观察工作空间。
LARYBench 评估详情
所有表征模型均被冻结，并训练一个通用注意力探针进行动作回归和分类。每个输入标记依次经过线性层、层归一化和 GELU，投影到 768 维。对于跨越多个转移的表征，在展平时间维度和标记维度之前，使用可学习的时间嵌入标识各转移的位置。基于可学习查询的注意力池化器将标记汇聚为单个特征，供回归或分类头使用。
零样本人到机器人迁移详情
评估使用 HumanAndRobot 中的 1,008 个片段，涵盖 21 项任务，每项任务选取 48 个片段。每种方法接收一段人类源视频及其配对机器人录像的初始帧。其余机器人帧仅作为评估参照；训练时不使用成对的人类–机器人数据。DreamX 与 AdaWorld 和 VideoWorld 2 进行比较，并采用它们各自原生的生成时长。
为了采用统一的评估时长，保留每个输出的前 20 帧并排除条件帧，因此每个片段生成 19 帧。报告的指标包括使用 Kinetics-400 预训练 I3D 网络计算的 FVD、基于 VGG 的 LPIPS、PSNR，以及与对应机器人参照视频比较得出的 SSIM。
策略评估
分别报告到达和推动任务的完成情况。对每一对结果取平均，得到各配置的成功率：Mimic-Video 在所有配置下均为 50.0%，DreamX 则分别为 90.0%、100.0% 和 100.0%。
表征分析
分析使用 2,362 个 RoboCOIN 片段，涵盖十种机器人类型和六种末端执行器平移方向，以考察不同机器人具身中的潜在动作是否呈现共同的方向结构。
t-SNE 可视化展示了按方向划分的 60 个潜在动作质心，结果显示，同一方向的质心在不同机器人类型之间呈现相似的组织结构。这项整体分析支持不同具身间存在共享的方向结构。
任意到任意视频迁移
补充的任意到任意视频迁移示例涵盖不同具身和环境，作为正文示例的补充。
人到机器人动作迁移
补充的人到机器人动作迁移示例涵盖书写和单臂操作。实验设置见动作迁移详情。
策略执行过程
真实世界抽屉关闭执行示例涵盖仅上层打开、仅下层打开和两个抽屉都打开三种配置。
查询到视频注意力
补充的查询到视频注意力可视化涵盖人类和机器人演示序列。查询到视频的注意力是在所有注意力头、每个时间组内的四个查询槽位，以及最后七个 Transformer 模块上取平均得到的。
常见问题
DreamX 从视频中学到什么？ DreamX 学习表征运动的通用潜在动作，这些动作可在不同场景和具身之间迁移。
人到机器人迁移是否需要成对训练数据？ 不需要。DreamX 无需成对的源–目标训练数据即可实现人到机器人动作迁移。
DreamX 的潜在动作如何用于机器人策略？ 它们可作为观测条件机器人策略的预测目标，执行时无需生成未来视频。
真实世界实验使用什么机器人设置？ 实验使用双臂 YAM 机器人，配备 14 维绝对动作指令和俯视 Intel RealSense D405 相机。