威胁模型
我们考虑这样一种攻击者：通过修改视觉输入中的一小块区域，降低由世界动作模型（WAM）控制的机器人的任务成功率。这是一种无目标的测试时攻击。
攻击设计与实现
该攻击利用了不同下游控制架构的 WAM 共用公开视觉编码器这一特点。因此，编码器的输出提供了一个独立于特定动作接口的攻击目标。若要让局部像素变化影响更广泛的场景表征，就必须利用编码器内部的传播路径。
我们最大化编码器对干净图像和贴片图像所产生表征之间的差异，覆盖完整的潜在输出，包括所有空间位置和通道。优化时，使用同一贴片处理多个源观测。
实验设置
我们在 LIBERO 和 RoboTwin 上进行闭环评估。LIBERO 包含四类任务——Spatial、Object、Goal 和 Long-horizon，每类各有 10 项任务。RoboTwin 包含 50 项任务。
FastWAM 是默认评估模型。DreamWAM-uncond（DW-U）、DreamWAM-joint（DW-J）和 Motus 用于同一基准内的迁移评估。每种模型配置均保留其自身的动作生成流程和预处理方式。
机制与行为分析
本节探究 TAPDreamer 引起的局部像素变化如何导致动作执行偏离。分析考察了 TAPDreamer 对潜在表征的影响。
结论
TAPDreamer 仅使用公开视觉编码器和来自单项任务的六次观测来优化固定局部贴片，却能在两个完整基准和不同的下游动作架构中造成显著的闭环干扰。机制分析揭示，注意力权重与数值的变化相互作用，将局部干扰传播至远处的表征；同时，经过优化的扰动响应在不同任务观测间仍高度一致。
行为分析将这种表征脆弱性与抓取和姿态干扰联系起来，并区分了持续视觉输入的即时影响与执行过程中累积的状态后果。这些结果表明，WAM 的鲁棒性必须覆盖从局部视觉输入到表征、生成和控制的完整链路。
伦理声明
本研究旨在识别世界动作模型对局部视觉扰动的脆弱性，为机器人安全评估和防御研究提供依据。所有实验均在 LIBERO 和 RoboTwin 仿真环境中进行，攻击通过修改模型输入图像实现。
我们认识到，此类方法可能被滥用于干扰机器人的正常运行，并强调其使用应限于经授权的安全测试与研究。机制分析表明，潜在的防御方法包括削弱来自可疑图像区域的键和值，或训练编码器保留局部扰动区域之外的表征。这些干预针对的是由注意力介导的贴片偏移传播；它们抵御自适应攻击的效果，以及对干净任务性能的影响，仍有待评估。
注意力恢复干预
我们测量恢复后相对于干净输出仍然存在的变化，并将其归一化为未进行恢复时的变化。对于潜在表征保留率，两种变化均使用整个潜在表征上的 L2 范数测量，包括贴片覆盖区域；动作保留率则使用动作输出对应的 L2 比值。随机贴片也使用相同的潜在表征保留率指标进行评估。
由于注意力重建与模型推理采用不同的数值精度，未进行恢复时的贴片参考结果通过相同的重建流程计算。这些比值衡量的是保留的变化，而非任务成功率。
三种干预均使 TAPDreamer 引起的潜在表征变化约保留 33%，动作变化约保留 32%。相比之下，随机贴片的潜在表征保留率仍约为 1.000。因此，恢复注意力分支、其权重或其数值，均可消除 TAPDreamer 引起的大部分潜在表征和动作变化，但对随机贴片影响甚微。
行为影响
前述分析展示了贴片引起的扰动如何经由注意力传播，以及优化如何先建立共同方向，再放大其幅度。接下来，我们考察这些表征变化如何影响动作指令，并进而导致任务失败。
随着任务推进，同一表征偏移可能影响不同动作。贴片会使末端执行器偏离干净轨迹、移至其下方，并阻碍任务完成。我们通过同一状态下的动作对比、内部恢复和移除贴片，将这种偏移与动作指令及物理后果联系起来。
任务：把字母汤和番茄酱放进篮子里。
常见问题
TAPDreamer 的目标是什么？ 它旨在通过修改机器人视觉输入中的一小块区域，降低由 WAM 控制的机器人的任务成功率。
优化贴片需要哪些信息？ TAPDreamer 使用公开视觉编码器和来自单项任务的六次观测。
闭环评估使用了哪些基准？ 评估使用 LIBERO 和 RoboTwin。
注意力恢复干预显示了什么？ 干预后，TAPDreamer 引起的潜在表征变化约保留 33%，动作变化约保留 32%；随机贴片的潜在表征保留率则仍约为 1.000。