世界动作模型（WAMs）近期通过联合预测机器人动作与未来观测，推动了机器人操作技术的发展。这种联合建模为动作生成提供了视觉上下文，帮助策略预测场景将如何演变。然而，在动态环境中部署机器人需要闭环控制：机器人必须根据最新观测反复重新规划，以纠正执行误差并应对环境变化。
频繁重新规划暴露了标准 WAMs 的计算瓶颈。联合去噪采样器在每个重新规划周期中，都要将整个预测时域从纯噪声处理到干净数据。每个去噪步骤都会处理完整的视频-动作序列，使重复模型评估的计算成本十分高昂。由此产生的推理延迟会推迟动作更新，限制闭环响应能力。一些方法通过在测试时省略未来视频生成来实现更快推理，但代价是失去能够为动作生成提供信息的显式视觉预测。
我们认为，可以在多个重新规划周期之间更高效地组织去噪过程。传统的基于块的采样器会在每次重新规划时，对新的预测时域执行完整去噪，即使滚动时域控制只执行其中的初始部分。未执行的尾部本可以为当前动作提供信息，却会被丢弃，而不是在多次重新规划之间复用。在多个周期中保留并逐步细化未来视频-动作块，既能保留预测上下文，又能复用去噪计算，从而减少生成下一个可执行块所需的连续步骤。
因此，我们提出 Rolling-WAM，这是一种将去噪分配到连续重新规划周期中的方法，继承了上述直觉。Rolling-WAM 建立在用于序列生成的滚动扩散概念之上，维护一个由对齐的视频-动作块组成的滑动窗口，并使其朝向未来逐步具有更高的噪声水平。在每个重新规划周期中，只有即将执行的动作块会被完全去噪，而更远未来的块仍保持部分去噪状态。这类似于人类规划背后的直觉：近期动作是具体的，而更远期的计划仍是暂定的，会随着新观测到来而不断细化。
执行完第一个动作块后，窗口向前移动，保留剩余预测，并追加一个以高斯噪声初始化的新块。随后，在新获取的相机观测条件下，将保留的预测与新块联合细化。随着各个块在窗口中移动，其去噪步骤会分布到多个重新规划周期中。因此，每个稳态周期只需执行总步骤的一部分，即可生成下一个可执行块。模型在匹配的噪声配置上进行训练，使动作 token 能够关注窗口中部分去噪的视觉未来。
Rolling-WAM 在仿真基准测试（包括 LIBERO 和 RoboTwin）以及 Unitree G1 上的三项现实世界人形机器人操作任务中进行了评估。实验表明，Rolling-WAM 在显著降低计算开销的同时，保留了视觉想象的优势。在 LIBERO 上，它取得了 98.1% 的平均成功率，在 RoboTwin 上取得了 93.3% 的平均成功率，性能与最先进的 WAMs 相当或更高。
主要贡献是一种面向联合视频-动作模型的滚动式方法，将去噪分配到连续的重新规划周期中。该方法在保持具有竞争力的操作性能的同时，实现了相较标准 WAMs 报告的推理加速。
用于序列生成的滚动扩散
Rolling Diffusion 引入了一个滑动去噪窗口，使其朝向未来逐步具有更高的噪声水平。这一概念后来扩展为使用独立 token 噪声水平的灵活采样调度，以及结合基于 rollout 的蒸馏进行双向去噪，以生成自回归长视频。这些工作为 Rolling-WAM 的滚动式方法提供了动机。
在机器人操作领域，Streaming Diffusion Policy 和 RNR-DP 通过维护部分去噪的动作缓冲区来加速动作生成。然而，这些方法只关注纯动作去噪，并在相对较小规模的设置中评估面向特定任务的策略。Rolling-WAM 将这一滚动机制扩展到世界建模与动作生成的耦合，使动作 token 能够关注部分去噪的视觉未来，并在更广泛的多任务设置中评估该方法。
问题形式化
这种分布既可以联合建模，也可以因子化建模，其中动作生成以未来视觉预测为条件。
在闭环中部署 WAMs，需要在每个重新规划周期内执行多次去噪步骤，然后才能执行一个动作块。这一迭代过程会带来很高的计算成本，增加推理延迟，并限制控制器对新观测的响应能力。
Rolling-WAM 通过将去噪计算分配到连续的重新规划周期中，解决了这一瓶颈。它维护一个滑动窗口，联合细化下一个动作块及其未来延续部分。该方法完成近期预测，同时让更长期的块以交错的噪声水平保持部分去噪状态。随着窗口伴随执行过程向前移动，保留的预测会在新观测下继续演变。这一机制将预测上下文延续到块边界之外，使连续的动作块能够借助一个共享且不断演化的视觉-动作未来来生成。
采样与执行
在每个去噪步骤中，模型都会联合更新窗口内的视频预测和动作预测。
模型使用 Euler 积分更新，根据预测的流速度推进每个视频-动作块当前的去噪状态。
第一个块完成去噪后，机器人执行其中预测的动作。随后窗口向前滑动，移除已执行的块，保留剩余预测，并追加一个以高斯噪声初始化的新块。机器人获取最新的相机观测和状态，为下一个重新规划周期提供条件。
实验
实验验证了滚动去噪能否在保持操作性能的同时，加速联合视频-动作预测。研究在 LIBERO、RoboTwin 2.0 以及现实世界 Unitree G1 任务上，将任务成功率与一系列广泛的视觉-语言-动作模型和世界动作模型进行比较。受控延迟测量用于量化滚动去噪带来的计算节省。消融实验考察窗口大小、训练噪声调度以及跨块动作注意力的作用。
实验设置
Rolling-WAM 在以下设置中进行了评估。以百分比表示的任务成功率是主要性能指标，同时测量重新规划延迟以评估效率。
研究评估了 LIBERO 的 Spatial、Object、Goal 和 Long 套件。每个套件包含 10 项任务和 500 个示范。观测包括外部视角和腕部 RGB 视图。针对全部四个套件训练一个策略，共训练 10 个 epoch，有效批量大小为 128；每项任务使用 50 次 rollout 进行评估。
仿真基准测试上的性能
第一项评估考察滚动去噪能否在每个重新规划周期使用更少去噪步骤的同时，保持具有竞争力的操作性能。
Rolling-WAM 在 LIBERO 上取得了 98.1% 的平均成功率，与联合领先方法 LingBot-VA 和 Joint-WAM 的 98.5% 相差 0.4 个百分点，同时高于 Motus 的 97.7% 和 Fast-WAM 的 97.6%。在四个套件中，成功率介于 97.8% 和 98.2% 之间，表明滚动推理能够持续取得出色性能。
RoboTwin 2.0 进一步在场景随机化条件下测试双臂操作。Rolling-WAM 在标准设置和随机化设置下的成功率分别为 93.5% 和 93.0%。其 93.3% 的平均成功率领先于 LingBot-VA 的 92.2%、Fast-WAM 的 91.8% 和 Joint-WAM 的 90.6%。在两种设置下都取得较高成功率，表明滚动推理在所评估的场景变化下依然有效，且不需要额外的具身预训练。各任务结果见论文附录。
Rolling-WAM 仅使用每个重新规划周期两个去噪步骤便取得了这些结果，说明共同细化当前预测和未来预测有望将更快的重新规划与更优的操作性能结合起来。
研究还检查了随着执行推进，保留的视觉预测是否与观测保持一致。在 RoboTwin 2.0 基准测试中一个将物体放入柜子的示例里，想象的机器人运动和任务进展与观测密切吻合，从定性角度展示了滚动执行过程中保留的视觉上下文。
结论
Rolling-WAM 是一种高效的世界动作模型，在滑动窗口内联合细化近期和未来的视频-动作预测。通过将去噪分配到重新规划周期中，它减少了生成下一个可执行动作块所需的连续步骤，同时利用部分去噪的视觉未来来引导动作生成。
实验表明，Rolling-WAM 在 LIBERO 上取得了具有竞争力的性能，并在 RoboTwin 2.0 和现实世界人形机器人操作任务上优于所比较的方法，同时相较标准联合 WAMs 实现了显著的推理加速。将滚动去噪与互补的模型和系统优化相结合，为低延迟机器人控制提供了进一步的发展机会。
局限性与未来工作
窗口和块大小等设计选择需要在具有不同动力学特性和控制频率的任务设置中进一步探索。尽管有观测反馈，保留的预测仍可能滞后于快速的场景变化并误导动作生成，尤其是在窗口较长时。自适应窗口管理和异步执行为提升闭环响应能力提供了研究方向。
致谢
本工作部分得到美国国家科学基金会 NSF CPS #2434460 的支持。USC Physical Superintelligence Lab 感谢 Toyota Research Institute、Dolby、Google DeepMind、Capital One、Nvidia、Bosch、NSF 和 Qualcomm 的慷慨支持。Yue Wang 还获得了 Powell Research Award 的支持。
常见问题
Rolling-WAM 解决什么问题？ 它解决了闭环机器人控制过程中反复对完整视频-动作预测时域进行去噪所带来的计算成本和延迟问题。
Rolling-WAM 如何降低推理开销？ 它保留部分去噪的未来视频-动作块，并在多个重新规划周期中逐步细化，而不是每次都重新开始完整的去噪过程。
Rolling-WAM 在仿真基准测试上取得了怎样的性能？ 它在 LIBERO 上取得了 98.1% 的平均成功率，在 RoboTwin 2.0 上取得了 93.3% 的平均成功率。
作者指出的主要局限性是什么？ 保留的预测可能滞后于快速场景变化，尤其是在窗口较长时；此外，窗口大小和块大小还需要在不同任务设置中进一步研究。