当世界-动作模型梦想正确却行动错误:动作-想象去同步化研究

当世界-动作模型梦想正确却行动错误:动作-想象去同步化研究

Qi Li, Xingyi Yang, Xinchao Wang

1 分钟阅读•2026年7月17日

对具身AI系统的攻击尤其令人担忧,因为模型故障可能转化为物理后果。先前的工作研究了针对感知模块、强化学习智能体和具身策略的攻击,包括改变观测、时序或环境线索的扰动。这些攻击通常针对反应式决策。对于反应式策略a = π(o),观测攻击可写为δ = argmax L(a_clean, a_adv),或在闭环评估中最小化任务奖励或成功率。BadWAM自然地将这一视角推广到输出既包含动作又包含想象未来的预测动作模型。相关问题不再仅是动作是否改变,而是动作改变的同时想象是否仍合理。

最接近我们工作的是近期关于针对“先想象后行动”世界模型的神谕级完整性攻击的研究。该研究关注VLA类和基于世界模型的系统,其中想象的未来被下游神谕(如安全门、MPC规划器或先想象后检查验证器)使用。研究表明,破坏可信的想象会损害依赖未来预测的系统。BadWAM研究了一种互补的故障模式。我们并非主要攻击想象的未来,而是针对部署的WAM控制器中想象与动作之间的对齐。我们证明,动作和想象可以被对抗性地去同步化:预测的未来可能接近干净预测,而执行的动作却足以导致任务失败。

这一区别对我们的威胁模型至关重要。如果安全监控器信任看似合理的想象未来,那么纯粹基于想象的检查可能遗漏那些保留未来预测但劫持动作的攻击。因此,BadWAM将动作与想象之间的对齐视为安全关键对象。我们的纯动作对抗攻击优先考虑任务破坏,而保留想象的对抗攻击则明确研究攻击强度与隐蔽性之间的权衡。

BadWAM框架

BadWAM是一个统一的框架,用于建模和评估世界-动作漂移攻击。该框架将WAM视为一个可查询的预测动作系统,并在每个重新规划步骤优化有界视觉扰动。其两种攻击实例对应于攻击强度/隐蔽性谱上的两个点:优先考虑执行失败的纯动作对抗攻击,以及额外约束预测未来漂移的保留想象对抗攻击。

设计动机

因此,我们围绕两个距离来制定BadWAM。d_action衡量干净与受攻击动作块之间的偏差,d_imagination衡量干净与受攻击想象之间的漂移。这些距离是接口级别的量:它们不需要特定的WAM架构,只需要访问相应的输出。概念上,隐蔽的对抗攻击寻求在有限视觉扰动下最大化动作偏差,同时将想象漂移保持在可监控阈值以下:

max_δ d_action(a_clean, a_adv) subject to d_imagination(i_clean, i_adv) ≤ τ and ||δ||_∞ ≤ ε

这定义了BadWAM的核心攻击面。下面的两种攻击实例化该目标的不同松弛版本。

纯动作对抗攻击

纯动作攻击捕捉BadWAM的高强度端点。它将WAM视为一个可查询的控制器,并纯粹专注于执行破坏。它不对想象未来施加任何约束,而是搜索一个有限视觉扰动,以最大化干净与受攻击动作块之间的偏差:

max_δ d_action(a_clean, a_adv) subject to ||δ||_∞ ≤ ε

干净动作块仅用作参考;攻击者在优化过程中不需要地面真实专家动作或任务成功标签。这使得攻击适用于部署的策略接口,其中可观察的输出是发送给机器人控制器的动作指令。

虽然简单,但该目标已经极具破坏性。在我们的闭环实验中,纯动作攻击将一个WAM变体的任务成功率从96.5%降至43.1%。因此,我们将其作为BadWAM的高强度端点。同时,该攻击不仅仅是无结构的输出破坏:引入的偏移在动作通道和时间范围段上分布不均。例如,扰动集中在与任务相关的通道(如平移和夹爪指令),而它们的时间集中在不同WAM变体间有所变化。这促使我们在评估中记录通道级和时间范围级的动作统计。

保留想象对抗攻击

比较干净执行、纯动作攻击和保留想象攻击的可视化图,显示保留的未来保持接近干净,而动作则偏离

纯动作目标无法控制想象未来会怎样。对于将想象未来暴露给规划器、监控器或先想象后检查安全门的WAM部署,这并不足够:更隐蔽的攻击应在保留模型干净想象的同时降低执行性能。因此,BadWAM通过求解拉格朗日松弛来实例化保留想象攻击:

max_δ d_action(a_clean, a_adv) - λ · d_imagination(i_clean, i_adv) subject to ||δ||_∞ ≤ ε

系数λ控制攻击强度与隐蔽性之间的权衡。当λ = 0时,目标简化为纯动作破坏。随着λ增大,优化器被抑制改变想象未来,使攻击更隐蔽但可能破坏性更小。

当解码的未来视频可用时,我们将想象距离实例化为平均帧级距离:

d_imagination = (1/T) Σ_t ||i_clean_t - i_adv_t||_2

相同目标可应用于潜在未来,只需将帧级距离替换为潜在空间距离。无论哪种情况,攻击都针对WAM特有的故障:机器人可能想象一个看似合理的未来,但执行的是一个去同步化的动作。

基于查询的在线优化

BadWAM不会通过WAM反向传播或访问模型参数。在每个重新规划步骤,攻击者将WAM视为一个可查询的输入输出系统,并使用零阶有限差分查询来优化攻击目标。具体来说,对于当前扰动δ,攻击者采样随机方向u,并在正向和负向扰动观测下评估标量目标。这给出了估计器:

∇̂L(δ) = (L(δ + σu) - L(δ - σu)) / (2σ) · u

这种优化是零阶的,因为它只使用从WAM输出计算的目标值;它不需要梯度、模型权重或训练数据。相同的优化器通过仅改变标量目标L来支持BadWAM的两种实例:纯动作攻击评分动作偏差,而保留想象攻击结合动作偏差与未来预测一致性进行评分。

对于每个重新规划步骤,BadWAM在查询预算内保留找到的最佳扰动。然后使用最终的对抗观测来产生机器人执行的动作块。这种在线设计避免了训练单独的攻击模型,并自然地适应当前观测、指令和机器人状态。

闭环执行与测量

BadWAM在闭环执行下进行评估。攻击在每个重新规划步骤重新计算,WAM输出受攻击的动作块,机器人在下一次重新规划前执行选定的动作。这种设置比单步动作比较更真实,因为小的动作偏移可能随时间累积,并仅在多次重新规划后才导致任务失败。

我们报告三组测量结果。首先,我们使用闭环成功率和相对于干净执行的诱导故障来衡量任务级攻击有效性。其次,我们使用动作距离、动作通道统计和时间范围级动作偏移来衡量动作破坏。第三,对于保留想象攻击,我们使用预测未来距离和对抗得分来衡量隐蔽性。这些指标共同区分了两个问题:机器人是否失败,以及失败是否通过WAM的想象未来可见。

失败在数据集套件和试验中具有系统性

为了测试攻击是否集中在少数任务类型中或在基准测试中普遍存在,我们按LIBERO套件分解成功率。最大的下降发生在需要精确空间控制或长时域执行的任务上。对于纯动作WAM,空间任务成功率从96.5%降至16.0%,目标任务成功率从97.0%降至40.0%,长时域任务成功率从92.5%降至23.5%。物体任务相对稳健,成功率为93.0%。联合WAM和IDM WAM显示出相同的定性模式,尽管退化不那么极端。例如,纯动作攻击下的联合WAM在空间任务上达到52.0%成功率,在长时域任务上达到42.0%,但在物体任务上仍为92.5%。

显示LIBERO套件中任务成功率的柱状图,表明系统性失败模式,空间和长时域任务最脆弱

这种套件级结构表明,BadWAM并非简单地均匀破坏视觉感知。当小的动作偏差可以通过几何、接触时序或顺序依赖累积时,它最为有效。以物体为中心的任务通常能容忍适度的漂移,只要相关的可操作性区域仍然可见且可达。空间和长时域任务在错误接近方向、抓取位置或夹爪时序方面留下的容错空间更小。

这些结果对WAM安全性意味着什么?

在所有研究问题中,结果指向了基于想象的安全检查的一个微妙故障模式。一个自然的WAM监控器可能会检查预测的未来,并在未来看起来合理时接受动作。BadWAM表明这一标准是不完整的。相关的安全属性不是孤立地看想象未来的合理性,而是想象未来与实际将要执行的动作之间的同步性。在匹配强度的运行中,保留想象目标在LIBERO的40个任务中有39个降低了预测未来漂移,同时仍诱导出显著的闭环故障。一个仅评分视觉未来合理性的监控器因此可能在动作通道已转向失败后仍感到满意。

这也解释了为什么攻击是WAM特有的。对于传统的纯动作策略,对抗扰动只能通过其对动作或最终任务结果的影响来评估。对于WAM,攻击者可以利用两个接口之间的差距:未来想象接口和动作接口。纯动作BadWAM目标针对该谱的高强度端点;保留想象目标针对更隐蔽的端点。后者尤其适用于将预测未来暴露给规划器、运行时监控器或人类监督者的系统。即使预测未来在视觉上接近干净预测,执行的动作块可能不再是实现那个未来的动作。

防御实验强化了同样的教训。预处理可能是有用的诊断工具,但它不是WAM安全性的原则性解决方案。一个实用的防御必须保留干净控制,同时检查动作和想象在闭环轨迹上是否保持相互一致。我们实验中低召回率的检测器进一步表明,适中的AUROC对机器人安全是不够的:运行时监控器必须在假阳性率非常低的情况下运行,而此时召回最难维持。

最后,迁移结果表明,漏洞不仅仅是实现问题。在一个WAM变体上优化的扰动在另一个上仍然具有破坏性,表明存在影响动作生成的共享观测空间方向。因此,WAM安全性评估应超越干净和受攻击的成功率。还应报告动作距离、预测未来距离、输入可感知性、时间范围级偏移以及任务族中的失败分布。这些指标共同区分公开的动作劫持与更隐蔽的保留想象失败,并测试防御是否恢复了动作-想象同步化而非掩盖一种扰动模式。

发现总结

评估支持六个结论。第一,BadWAM在WAM变体间显著降低了闭环成功率,约30%-50%。第二,失败是系统性的:它们跨重复试验持续存在,在空间和长时域任务上最强。第三,攻击诱导结构化的闭环失败,而非立即的随机行为。第四,保留想象创建了一个可测量的隐蔽权衡:它使预测未来更接近干净 rollout,同时保持相当的扰动预算和显著的攻击强度。第五,BadWAM暴露了一个可调的敏感性边界:攻击强度强烈依赖于扰动大小、未来保留权重和查询预算。第六,漏洞不局限于一个模型:攻击在WAM变体间迁移,而简单的检测基线在实际假阳性率下漏掉了大多数攻击。

这些结果表明,WAM安全性不能简化为询问想象的未来是否看起来合理。更安全相关的问题是,在对抗性观测扰动下,模型的想象未来和选定动作是否保持同步。

常见问题

什么是BadWAM? BadWAM是一个攻击世界-动作模型的框架,通过使其想象的未来预测与执行的动作去同步化,导致任务失败,即使预测的未来看起来正常。

保留想象攻击与纯动作攻击有何不同? 保留想象攻击增加了一个正则化项,惩罚预测未来的漂移,使攻击更隐蔽,同时仍导致显著的任务失败。

哪些类型的任务最容易受到BadWAM攻击? 空间推理和长时域操作任务最脆弱,而以物体为中心的任务由于对中等动作漂移的容忍度而相对稳健。

BadWAM攻击能否在不同的WAM模型间迁移? 是的,在一个WAM变体上优化的扰动在另一个上仍具有破坏性,表明存在影响动作生成的共享观测空间方向。