MoWAM 为机器人提供一份关于自身运动方式的紧凑预测，然后利用这份预测选择动作，而不是在运行时生成完整的未来视频。该方法针对世界动作模型中的一个核心瓶颈：基于视频的规划表现力强，却代价高昂。在模拟操作、分布偏移环境以及 Franka Research 3 机器人上的测试表明，以运动为核心的监督能够提升动作预测能力与鲁棒性。
目录
研究人员构建了什么？
MoWAM 是一种世界动作模型，它将机器人可能的未来表示为结构化运动，而不是一连串高密度视频帧。世界动作模型用于预测环境将如何响应机器人的动作；控制器可利用这一预测，在执行动作前进行选择。MoWAM 将预测重点放在与操作任务直接相关的运动上，例如机器人构型和交互几何关系将如何变化。
系统在训练阶段仍会使用未来视频建模。未来的视觉观测提供了丰富的学习信号，使模型能够学习动作如何影响场景。然而在推理阶段，MoWAM 不再生成完整的未来视频，而是利用紧凑的运动表示预测未来执行过程，并将这一预测与候选动作联系起来。
两种监督信号共同塑造了这一表示。结构监督让模型学习任务涉及的几何布局，动力学监督则关注运动随时间的变化。消融实验表明，两种信号都提供了有用信息，并非在发挥同样的作用。
MoWAM 还支持推理时扩展。系统可以生成并比较多个运动与动作候选，从而让控制器有更多机会找到可行的执行方案，而不必为每种可能性都进行高密度视觉展开。
取得了哪些关键结果？
MoWAM 在 LIBERO、分布外的 LIBERO-Plus 基准，以及使用 Franka Research 3 机器人的三项真实世界任务上进行了评估。主要指标是任务成功率。LIBERO 包含 4 个测试套件，每个套件有 10 项任务；LIBERO-Plus 则在 700 个评估实例上测试 7 种分布偏移，且不进行额外训练或适应。
最清晰的数值证据来自消融实验。完整模型的平均成功率达到 76.0%。移除动力学监督后，性能降至 69.14%，下降 6.86 个百分点。移除结构监督后，性能小幅但仍显著地降至 73.71%，说明几何信息与时间运动信息相结合能够带来额外价值。
| 模型变体 | 保留的监督 | 平均成功率 |
|---|---|---|
| 完整 MoWAM | 结构与动力学 | 76.0% |
| 不含动力学损失 | 仅结构 | 69.14% |
| 不含结构损失 | 仅动力学 | 73.71% |
现有结果说明了评估规模和消融实验结果，但没有给出完整的基线排行榜或真实世界任务的精确成功率。因此，现有证据能够支持 MoWAM 两种运动损失的价值，却不足以精确说明它相对于每一种竞争模型的优势幅度。
MoWAM 如何工作？
MoWAM 将学习成本与执行成本分开。在训练阶段，模型从未来的视觉行为中学习，保留基于视频的世界模型所能获得的信息。视觉未来展示了成功动作序列应当如何改变场景，同时模型还会被训练为用机器人运动提取出对这一未来更紧凑的描述。
这一描述包含两个互补部分。结构表示机器人及其与环境交互时的空间或几何组织关系；动力学表示这种组织关系如何随时间变化。因此，结构损失和动力学损失分别回答了两个不同的工程问题：机器人和物体处于什么构型，以及这一构型如何运动？
在推理阶段，MoWAM 无需在选择动作前渲染一连串高密度预测帧。它会预测未来运动，将可能的运动与候选动作对应起来，并利用这些对应关系指导执行。这样便减少了控制环路中所需的视觉预测量。对于延迟或算力受到严格限制的操作系统而言，这种差异可能决定规划能否以足够高的频率运行，从而及时应对接触和定位误差。
该方法也为推理时扩展提供了可行路径。控制器可以同时考虑多组运动—动作组合，而不是依赖单一预测。候选方案的多样性能够提高至少有一个规划方案正确处理物体姿态、抓取方式或障碍物布局的概率。因此，这种方法以对可能机器人行为进行紧凑搜索，替代了成本高昂的未来视频生成。
实验设计测试了三种运行条件：
- 标准操作：LIBERO 中每项任务进行 50 次 rollout。
- 分布偏移：700 个 LIBERO-Plus 评估实例，直接使用 LIBERO 训练得到的策略。
- 实体执行：每项真实世界任务提供 100 次演示，并进行 20 次评估试验。
这一设置同时检验了标准任务完成能力，以及系统对训练期间未出现的变化的敏感程度。
MoWAM 为什么对机器人技术重要？
世界模型之所以具有吸引力，是因为它们可以帮助机器人在行动前进行推理；但完整的视频预测会带来沉重的计算负担。如果控制器花费过多时间想象视频帧，那么当抓取滑脱、物体意外移动，或接触行为与训练数据不同时，它可能难以及时重新规划。MoWAM 的核心设计选择，是预测与动作最直接相关的未来部分：机器人运动。
对于必须在有限硬件上结合感知、规划与控制的操作系统而言，这种方法尤其具有现实意义。紧凑的运动预测能够支持更快的重新规划，同时在训练阶段保留未来视频所提供的丰富监督信号。LIBERO-Plus 的评估框架同样重要，因为它测试的是分布偏移下的鲁棒性，而不只是熟悉场景中的表现。
真实世界任务包括拿起香蕉、关闭抽屉和堆叠碗，涵盖了不同要求：稳定抓取、精确定位，以及受控的环境交互。这些行为与机器人手臂和协作机器人在实际部署中常见的失败模式相似。
在评估协作操作硬件时，团队可以浏览待售二手协作机器人，而对于需要重复性运动并与工厂设备集成的大规模生产部署，则可以比较二手工业机器人。MoWAM 并不能取代硬件选型，但高效的动作建模有望让先进规划更实用，并适用于这两类设备。
有哪些局限与未决问题？
现有结果仍未回答若干部署层面的问题。报告中的消融实验给出了平均成功率，但提供的文本没有包含逐任务得分、延迟测量、内存占用，或与其他世界动作模型的完整对比。若要从实际运行角度量化其推理效率优势，这些指标必不可少。
实体评估只使用了一个机器人平台、三项任务、每项任务 100 次演示和 20 次试验。这些结果能够证明方法具备一定的真实世界迁移能力，但无法说明它在不同机械臂、夹爪、摄像头、负载或高接触任务上的表现。LIBERO-Plus 在不进行适应的情况下测试了 7 种分布偏移，但结果摘要没有说明性能在每一种偏移下如何变化。
尚待回答的问题包括：运动候选如何排序？多少候选数量能够带来值得付出的改进？在长时域任务中，该表示是否仍然可靠？此外，还需要测量紧凑运动预测与那些必须依赖详细视觉推理的失败之间的权衡。
MoWAM 引发了哪些常见问题？
MoWAM 解决了什么问题？ MoWAM 旨在解决世界动作模型在选择机器人动作前生成高密度未来视频所带来的高昂推理成本。
MoWAM 不预测未来视频，而预测什么？ 它预测未来机器人运动的结构化表示，并将候选运动与候选动作联系起来。
运动监督对性能有多大影响？ 完整模型的平均成功率为 76.0%；移除动力学监督后为 69.14%，移除结构监督后为 73.71%。
MoWAM 是否在实体机器人上进行了测试？ 是。评估使用 Franka Research 3 机器人完成了 Pick Banana、Close Drawer 和 Stack Bowls 任务。
结论是什么？
MoWAM 表明，对于机器人动作预测而言，结构化未来运动可以成为高密度未来视频生成的一种紧凑替代方案。消融实验显示，几何结构和时间动力学都很重要；而真实世界评估则证明了这一思路与实际操作任务之间的联系。
紧凑的运动预测能否让世界模型规划在更多机器人硬件上变得切实可行？