快速控制机器人,需要理解场景如何变化。单张图像可以显示物体的位置,却难以明确其运动状态和交互进展。世界动作模型(WAM)将视频预测引入闭环控制,使视觉历史成为指导动作的自然信息来源。然而,处理更多历史信息可能会延迟本应由其改善的响应。本研究探讨 WAM 控制如何随视觉上下文扩展,以及如何在实时约束下保留这些收益。
从自回归视频生成扩展 WAM 上下文
Long-WAM 将上下文扩展与根据历史预测物理演变的能力联系起来。它首先通过长序列自回归视频预训练学习机器人运动和交互动力学,再将这一预测基础迁移至动作生成,同时保留其因果时间结构。由此得到的策略依据观测历史和预期未来生成动作,将预测作为控制的中间表征。研究随后考察增加历史信息所带来的收益如何取决于视频初始化,以区分获得更长上下文与学会有效利用上下文这两种能力。
世界动作模型的上下文扩展
研究逐步延长因果前缀中真实观测的时长,同时在每项基准测试中保持视觉预测范围和动作时域不变。这样可以检验增加过去的信息是否能改善同一个近期控制决策,而不是改变模型预测或执行的时间跨度。
每个窗口都使用单独训练的模型,并在其训练时采用的上下文长度下进行评估;历史长度为零时仍保留当前观测。当缺少回合早期的历史信息时,则重复初始帧。
高效边缘部署
本地推理可避免网络延迟,但以视频预测为先的方案对算力有限的机载计算设备而言成本较高。Long-WAM 在 NVIDIA GeForce RTX 5090、DGX Spark 和 Jetson AGX Thor 上进行加速,以支持短重叠执行,同时保留视觉想象能力。通用优化降低共同的计算和数据搬移成本;针对设备的调优则处理各平台的约束,在可移植性与硬件效率之间取得平衡。

该实现无需拼接 KV 缓冲区即可保留联合注意力。它还合并内存访问、融合缩放/偏置与类型转换操作,并简化 VAE 布局和填充,具体实现受形状及后端约束。
实现细节
LongLive2.0-Robot 预训练使用约 30,720 GPU-hours,运行于 64 NVIDIA H100 GPUs;下游 WAM 在 16 GB200 GPUs 上训练。WAM 训练采用 AdamW,峰值学习率为未指定的数值,使用余弦衰减、5% 预热、BF16 精度,并将梯度裁剪阈值设为 1.0。
机器人实验使用 Unitree G1 人形机器人和 YAM 双臂机械臂。论文附录 D 列出了基线方法的参考文献。
原子任务执行与组合式规划
Long-WAM 单独运行时,Atomic-Seen 成功率达到 67.9%,高于一种未指定方法的 39.6% 和 GPT-6 Astra 单独运行时的 31.5%,为实体机器人技能提供了坚实基础。每 15 steps 调用同一策略一次时,即使没有规划器,成功率也达到 84.4%,接近分层系统的 85.6%。
真实世界部署
研究通过每种策略和条件下的 20 trials,评估 Unitree G1 上的动态操作任务和 YAM 上的长时程任务。

预训练数据
预训练语料包含来自五类数据集的 2,294,889 个可供模型使用的文本与图像转视频样本。论文报告了六个来源子集,其中包括两个 AgiBot World 子集。训练集、验证集和测试集分别包含 2,251,021、21,931 和 21,937 个样本。
约 10,000-hour 的训练规模是按窗口折算的估算值:每个训练样本分配 16 seconds,合计为 10,004.5 aggregate hours。这并非对独立原始视频素材时长的测量;重叠窗口、源片段长度和填充都会影响两者的区别。
预训练使用不带动作监督的视频预测,因此数据来源无需共享动作坐标或执行器维度。与动作空间无关的监督是这一阶段的特性;若要验证其能否提升向未见过的机器人形态迁移的能力,则需另行评估。
动态组合操作
论文介绍了 Unitree G1 上的动态叠杯任务。Long-WAM 依次完成抓取蓝色杯子、拦截移动的绿色杯子,并将其嵌套放入蓝色杯子。相比之下,基线方法在拦截时未能接住绿色杯子。
长时程操作
Long-WAM 执行了 YAM 上的三项任务,每项都要求连续进行多次物体交互。这些操作序列展示了通过重复抓取和放置实现的任务导向进展,与前文所述的快速动态行为相辅相成。这些任务平均持续 40 seconds 以上。
常见问题
Long-WAM 如何指导机器人动作? 它依据观测历史和预期未来生成动作,并将预测作为控制的中间表征。
上下文扩展评估如何进行? 评估会改变因果前缀中观测的时长,同时在每项基准测试中保持视觉预测范围和动作时域不变。
实验使用了哪些机器人? 实验使用 Unitree G1 人形机器人和 YAM 双臂机械臂。
Long-WAM 在 Atomic-Seen 任务中的表现如何? Long-WAM 单独运行时的 Atomic-Seen 成功率为 67.9%;每 15 steps 调用一次时,无需规划器即可达到 84.4%。
