数据整理流程将四类经验来源转化为可用于训练的视频-语言样本。流程包括质量检查、统一视频记录格式、在适用情况下将长视频切分为多个子任务，以及生成多层级描述，随后混合整理后的数据用于预训练。
语言-视频对齐
通用视频
我们使用 OpenVid 和 Panda70M，共计 10,909.6 小时。这些开源视频生成数据集包含视频及文本描述，涵盖多样的场景、物体和视觉动态。我们保留其视频和原始描述，为模型提供操控演示以外的语言-视频经验。
第一人称视角视频
我们使用 Ego4D、EgoVerse 和 EgoSuite，共计 371,212 条轨迹和 10,986.3 小时。Ego4D 主要记录真实生活环境中的日常活动。EgoVerse 涵盖更多样的场景，拓展跨环境的第一人称视觉经验。EgoSuite 是目前最大的开源第一人称视角操作视频数据集。我们保留这些来源中的视频和语言描述。
数据准备
我们将所有来源的数据整理为 LeRobot 2.1 格式。仅保留视频、语言描述和元数据均可关联的样本。我们剔除视频、语言或元数据未关联的样本，存在编码或解码失败的视频，以及已知的低质量样本。视频记录保留相应的语言描述和元数据。数据清单按来源时长统计记录的片段和视频数量。
视觉内容筛选
对于 OpenVid 和 Panda70M 等通用视频数据集，我们使用原始标注和基于 VLM 的内容审核，剔除动画、静态场景、电视节目及其他不适宜内容。对于第一人称视角视频，我们使用 VLM 评估运动模糊、亮度、遮挡，以及片段是否包含有意义的动作，以减少低质量图像和无信息行为对训练的影响。下文介绍的 UMI 和机器人演示也采用类似的筛选规则。
在通用视频上适配视频模型
我们的 WAM 修改了 Wan 的视频建模设计，以支持机器人控制，这可能会扰动预训练得到的视觉与动力学先验。为降低适配难度，我们先在通用视频上训练视频分支，其数据分布与 Wan 的预训练数据较为接近。在此阶段，我们使用与后续 WAM 训练相同的输入帧数、空间分辨率和因果注意力机制。这一阶段旨在适配过程中保留这些先验，再引入具身数据。
语言-视频-动作对齐
UMI 和机器人演示遵循上述视频整理与筛选流程，并使用前文所述的语言标注。在这些语言-视频对应关系的基础上，我们将视频片段与状态和动作记录对齐，构建语言-视频-动作监督。下文将介绍这些演示数据的采集与整理。
采集过程中，头部和双侧腕部视角分别记录整体操作场景和局部交互细节。智能手机视觉惯性追踪提供动作轨迹，外部编码器则记录夹爪的开合状态。通过共享坐标系和时间基准，建立双手视频、运动轨迹和夹爪状态之间的空间与时间对应关系。
采集流程包括录制前的设备检查和同步验证、录制过程中的追踪稳定性与运动学可行性检查，以及录制后的回放视频和 AR 轨迹。这些检查可识别定位漂移、轨迹跳变等异常，并验证任务是否完成。
状态-动作表示
UMI 和机器人演示采用统一的 16 维双臂末端执行器表示。每只手包含三维位置、按 wxyz 顺序排列的四维旋转四元数，以及一维夹爪数值。状态和动作记录与对应的视频片段关联。每个来源均使用自身的 q1 和 q99 统计量进行归一化。
轨迹质量
对于我们内部采集的 UMI 演示数据，我们根据采集流程提供的状态与动作有效性标注构建动作监督掩码。视频用于视频学习；有效动作标签还提供动作监督，无效标签则被屏蔽。
对于采集的机器人演示，我们首先检查动作维度、缺失值、NaN、非有限值和四元数有效性。对于包含所需关节和末端执行器状态字段的子集，我们还会剔除关节角异常、相邻帧间关节角或末端执行器姿态变化过大，以及整个轨迹中没有运动的轨迹。通过这些质量检查的轨迹用于动作训练。
实验
我们的目标是利用多源经验，保留视频预训练中获得的语言-视频能力，并将其拓展到可泛化的机器人控制。实验考察语言-视频对齐、语言-视频-动作对齐、联合训练和预训练规模对下游泛化能力的影响。研究围绕以下四个问题展开：
- 如何建立有效的跨模态对齐？
- 如何整合多源经验？
- 扩大预训练规模能否提升控制泛化能力？
- 模型在未见环境中的表现如何？
实验设置
我们使用上述模型架构和多源语料进行预训练。视频分支由 Wan2.2-TI2V-5B 初始化，动作分支则随机初始化。训练过程中更新所有模型参数。预训练和后训练均使用上述联合视频与动作目标函数。我们使用 AdamW，初始学习率在源文本中以公式表示，默认全局批量大小为 256。各项研究的训练步数和具体设置详见相应实验描述及表格标题。
讨论与结论
我们研究了如何利用多源经验，将预训练的语言-视频能力拓展到可泛化的机器人控制。我们使用约 47,000 小时的经验，系统考察语言-视频对齐、语言-视频-动作对齐及其联合学习。
我们发现，细致准确的语言描述有助于保留预训练的语言-视频能力。同时，来自 UMI 演示的动作监督进一步支持机器人控制，体现了人类操作经验对机器人学习的价值。研究结果表明，经验组织方式和监督信号的使用都至关重要。由此形成的训练方案在仿真和真实世界评测中均能泛化至未见条件，持续预训练还能带来进一步提升。我们将发布数据、代码和模型权重，以支持未来研究。
尽管所提出的方法在控制泛化评测中优于 VLA 模型，但它建立在预训练视频模型之上，对复杂推理和显式多阶段规划的支持有限。有限的历史上下文也可能妨碍长程任务的执行。未来，我们计划探索记忆机制和分层规划，以支持需要依据过去观测进行推理并规划后续动作的任务。
致谢
感谢 Zijun Xu 在本研究早期探索阶段作出的贡献。我们也感谢 Yutong Dong 为真实世界部署付出的努力。
通用设置
预训练和后训练采用论文引用表格中指定的相同优化设置。不同训练阶段的批量大小、训练步数和学习率调度各不相同，详见引用的训练配置章节。
训练配置
在预训练中，我们从 Wan2.2-TI2V-5B 初始化视频 DiT，并加载其预训练的 UMT5-XXL 文本编码器和 Wan2.2 视频 VAE。动作分支（包括动作与状态编码器、Transformer 模块和动作解码器）均随机初始化。每项实验的后训练均从相应的预训练权重开始。
后训练数据准备
在使用第一人称视角视频和 UMI 演示进行通用预训练后，我们分别使用任务专属数据，将模型适配到叠杯、叠毛巾和礼盒装箱任务。论文引用的表格汇总了各项任务的后训练数据。
评测协议与指标
我们在 Easy (C2C) 和 Hard (C2R) 设置下进行评测。Easy 设置保留后训练时使用的场景条件和物理物体，包括其形状与颜色，同时改变物体在不同布局中的初始配置。Hard 设置则改变场景和物体属性，包括背景、桌面材质、物体实例、形状、颜色、尺寸和纹理。
所有模型均采用同步推理，并以 30 Hz 执行动作。
真实世界任务成功率
论文报告了 Easy 和 Hard 设置下各项真实世界任务及其平均值的 SR 和 PSR。
常见问题
语言-视频预训练使用了哪些经验来源？ 论文使用来自 OpenVid 和 Panda70M 的通用视频，以及来自 Ego4D、EgoVerse 和 EgoSuite 的第一人称视角视频。
机器人动作如何表示？ 每只手采用 16 维双臂末端执行器表示：位置、wxyz 旋转四元数和夹爪数值。
论文如何筛选演示轨迹？ 论文检查动作维度、缺失值和非有限值、四元数有效性，并在适用情况下检查关节角、姿态变化和运动情况。
论文指出了哪些局限和未来方向？ 该方法对复杂推理、显式多阶段规划和长程任务的支持有限。作者计划探索记忆机制和分层规划。