视觉-语言-动作模型在处理推理过程中移动的动态物体时存在困难。AHEAD 引入了一种隐空间预测世界模型，该模型将流匹配动力学与运动学条件化及自适应地平线停止相结合，实现了 VLA 操控中对移动物体的实时拦截。
引言
动态环境中的机器人操控需要在策略执行过程中推理物体运动。尽管视觉-语言-动作模型在静态场景中展现了令人印象深刻的能力，但它们缺乏对推理过程中移动物体进行时间推理的能力。AHEAD 通过预测 VLA 隐空间中的未来场景状态，并以每个令牌的运动学估计为条件，根据预测不确定性自适应停止推演，解决了这一问题。
基于流匹配的运动学条件化世界模型
为了避免让世界模型从数据中学习完整的物理规律，AHEAD 在恒定加速度运动学下，通过推演步骤解析地传播速度条件。
自适应地平线停止
为了在时间上分配计算资源，AHEAD 在预测不确定性超过阈值时停止每个推演。每个步骤采样的轨迹提供了基于每个令牌平均方差的逐步骤场景级不确定性估计。
实验
我们在模拟环境中评估了 AHEAD 在多个动态物体操控场景中的表现，并在物理 UFactory xArm 7 上进行了五个动态任务的实验。消融实验分离了每个组件的贡献。
局限性与未来工作
如果论文被接收，最终版本将包含致谢。所有致谢将放在论文末尾，包括对提供有用意见的审稿人、对贡献想法的同事以及提供财务支持的资助机构和企业赞助商的感谢。
架构细节
一个 4 层 Transformer，隐藏维度为 256，将选定的运动增强令牌压缩为紧凑的隐向量。每个选定的令牌接收一个可学习的二维位置嵌入，由其补丁位置索引，从而空间位置与冻结 VLA 的表示一致，其中运动增强令牌被索引，并指定隐维度。
考虑过的其他架构
世界模型必须产生高质量的预测，并在每步延迟预算内完成。我们考虑了三种候选架构。
基于扩散的世界模型产生高质量的样本，但需要 100 步或更多的去噪步骤，使得每次推演超出预算。
条件流匹配学习从噪声到预测未来状态分布的连续归一化流，需要 5 步积分以获得高质量样本。多个样本同时提供均值预测和来自轨迹样本方差的自然后验不确定性估计，无需额外开销。
基于此，AHEAD 采用条件流匹配作为动力学模型。
语言与运动显著性细节
一个单令牌形态学膨胀扩展了显著性图以捕捉物体边界。消融实验表征了语言和运动显著性信号与均匀掩码之间的计算-准确率权衡。
运动估计细节
为了以每个令牌的运动学状态为条件，而不是要求世界模型从视觉特征中推断运动，AHEAD 使用 RAFT 和有限差分法从三个连续观测中估计速度和加速度。
平均池化足够，因为与任务相关的物体跨越多个补丁。内部补丁接收清晰的速度信号，而 2 到 4 个边界补丁的混合信号对预测误差的贡献可忽略。
运动学更新推导
为了捕捉运动估计的不确定性，AHEAD 独立地向每个样本的速度条件注入小的高斯噪声，导致轨迹在预测对精确速度值敏感时发散，在预测稳健时一致。
特征对齐层
MSE 重建对所有特征维度同等对待，但 VLA 动作解码器对某些维度敏感（例如对抓取至关重要的空间关系），而对其他维度不敏感（例如背景纹理）。为了纠正这种系统性失真，AHEAD 添加了每个令牌的特征对齐层，将解码后的特征映射到动作解码器偏好的流形。
我们单独训练对齐层，使用配对的真实特征和解码特征，直接优化动作误差。
训练协议
收集机器人轨迹成本高昂，这限制了机器人特定世界模型的训练数据规模。世界模型在 VLA 特征空间中运行，该空间由冻结编码器在海量互联网数据上预训练。因此，任何包含操控相关场景中物体运动的视频都提供有用的训练信号，无论其中是否出现机器人。这促使我们选择专注于桌面交互和手-物体动态的预训练语料库，而不是以户外活动和全身运动为主的广泛自我中心视频数据集，后者远偏离部署分布。
模拟环境
四种场景测试线性独立运动。
传送带 + 杯子。传送带以随机速度将红色杯子运送过工作空间。机器人必须在杯子离开工作空间前拿起它。传送带速度、杯子在传送带上的生成位置和传送带高度每回合随机化。
横梁 + 杯子。红色杯子沿水平横梁以随机速度滑动。机器人必须从上方抓取杯子。横梁方向和起始位置随机化。
推杆 + 杯子。推杆以随机速度将杯子横向推过工作空间。机器人必须拦截杯子。推动方向和起始偏移随机化。
滚动球。球以恒定水平速度滚过桌子。机器人必须阻止球。
物理机器人设置
使用 UFactory xArm 7（7 自由度）平行爪式夹持器。机器人在底座前方约 0.5 米的安全边界框内运行，并设有关节限位保护，当任何关节接近制造商限位或工作空间边界时停止运动。
基线实现细节
OpenVLA 在初始观测上查询一次，并开环执行预测的动作序列直至完成。不再使用进一步观测。
成功标准
每个场景具有特定于场景的通过/失败标准，在模拟中自动评估，在物理机器人上手动评估。
成功要求夹持器与目标物体接触，所有手指闭合，将物体提升至少 5 厘米，并保持 2 秒不掉落。在多物体或语言与运动场景中抓错物体即使抓取本身成功也算失败。
常见问题
AHEAD 解决了什么问题？ AHEAD 通过预测隐空间中的未来场景状态，使 VLA 模型能够拦截移动物体，克服了当前 VLA 架构的静态场景限制。
世界模型如何实现实时性能？ 它使用仅需 5 步积分的条件流匹配，并根据预测不确定性自适应停止推演，将每步延迟保持在预算内。
世界模型使用什么数据训练？ 模型在精选的桌面交互和手-物体动态互联网视频上训练，利用 VLA 编码器的预训练视觉特征，无需机器人特定数据。
运动学条件化如何工作？ AHEAD 使用 RAFT 和有限差分法从连续观测中估计每个令牌的速度和加速度，然后在恒定加速度运动学下，通过推演步骤解析地传播这些量。