世界模型使机器人能够学习环境如何演变的预测性表征，而最近的世界动作模型（WAM）将这种预测性学习与动作生成相结合，用于机器人控制。然而，大多数WAM仍然主要通过视觉状态转换来建模未来。视觉预测捕捉场景布局、物体外观和可见运动，但物理操作还依赖于仅在图像中间接表达的局部力学。对于接触丰富的任务，学习场景的外观是不够的；模型还应捕捉力、形变等触觉信号在交互过程中如何变化。
此前的视觉-触觉方法已利用触觉进行观测融合、表征学习、策略优化和未来触觉预测。这些研究表明，触觉可以改善操作，并且未来触觉预测是有用的。沿着这一方向，我们关注触觉WAM的补充需求：未来的触觉状态应提供具有物理意义的监督，而动作生成应仅使用部署时可用的信息。这使得触觉未来能够丰富世界模型的训练，而无需作为直接的动作输入。
主要贡献
- 我们提出TacWAM，它将视觉WAM训练扩展到包含最近的触觉历史和未来触觉预测，使模型能够从当前触觉观测之外的变化中学习。
- 我们开发了空间对齐融合触觉编码器（SAF），将触觉外观、力和形变映射到共享的潜在表征中，同时保留局部接触模式和全局力/力矩信息。
- 我们提出了锚点引导的三模态注意力（AGT），防止动作分支在训练期间访问未来的视觉或触觉目标，确保动作生成仅使用部署时可用的信息。
- 我们在四个真实世界的接触丰富操作任务上评估了TacWAM。TacWAM始终优于代表性的纯视觉和视觉-触觉基线，而分阶段消融实验支持触觉历史和受限的未来目标可见性在完整框架中的重要性。
视觉-触觉与预测性触觉学习
TacWAM建立在更广泛的视觉-触觉学习方向上，而非将触觉预测本身作为主要新颖性。它关注触觉未来如何在WAM训练中表示和使用：SAF编码器和触觉历史支持力和形变变化的预测，而AGT注意力则防止未来的感官目标成为动作生成的直接输入。
TacWAM概述
TacWAM围绕一个单一的三模态WAM生成器构建，包含视觉、触觉和动作流。在该生成器之上，TacWAM引入了三项触觉特定设计。首先，SAF触觉编码器将同步的触觉外观、力和形变流信号映射到共享的触觉潜在空间，该空间定义了未来的触觉预测目标。其次，触觉历史编码器总结了当前块之前的近期触觉变化，并为触觉预测分支提供接触阶段上下文。第三，AGT注意力明确了视觉、触觉和动作流之间的信息拓扑，防止未来的感官预测目标被动作标记直接访问。
这三个流在混合Transformer骨干中联合实现，其中视觉、触觉和动作流由模态特定的专家处理，并通过掩蔽的混合自注意力进行通信。AGT控制视觉、触觉和动作标记之间的混合自注意力；任务语言和当前本体感觉通过专家交叉注意力作为部署时可用的上下文单独提供。在最终确定的AGT掩码下，未来的触觉预测是一个并行的预测目标，而非动作条件的结果模型：动作流使用部署时可用的视觉和触觉锚点、任务/本体感觉上下文以及动作标记交互，而未来的触觉状态在训练期间为力和形变变化提供预测监督。
空间对齐融合（SAF）触觉编码器
TacWAM使用触觉编码器和触觉重建器定义触觉潜在预测空间，如附图所示。每个触觉观测包含来自夹爪两侧触觉传感器的同步信号，其中输入是校正后的触觉图像、密集的局部力场和网格形变流。这三个输入在触觉传感器表面空间对齐，并融合成步级触觉表示。
因此，合力/力矩被视为全局力学监督，而不是第四个空间输入。TacWAM预测未来的触觉潜在状态，而不是直接生成异构的触觉传感器流。重建目标鼓励潜在状态保留局部力、形变和双侧力/力矩信息。
触觉历史调制预测
单帧触觉通常具有模糊性：相同的力幅值可能对应稳定接触、压力增加、滑动恢复或即将发生的物体损坏，具体取决于最近的交互轨迹。因此，TacWAM在当前块之前总结了最近的触觉历史。
输出是一个紧凑的块级触觉上下文。它不是作为额外的记忆标记插入。相反，它通过自适应归一化调制触觉专家，帮助未来的触觉预测消除当前交互阶段和触觉演变趋势的歧义。历史上下文不是动作流的直接特权输入。
这种设计改变了触觉预测的作用。TacWAM不会将触觉预测作为孤立的额外头附加。相反，未来的触觉状态被整合到多模态生成目标中，鼓励联合训练的WAM编码接触相关的触觉演变，而不仅仅依赖视觉监督。
实验
我们通过以下研究问题评估TacWAM：
- RQ1： TacWAM与纯视觉和视觉-触觉基线在接触丰富操作上的比较如何？
- RQ2： 触觉历史是否改善了TacWAM内的未来力预测和相位相关接触操作？
- RQ3： AGT信息约束对比放宽的注意力掩码对部署性能有何影响？
常见问题解答
TacWAM与现有世界动作模型的核心区别是什么？
TacWAM通过添加最近的触觉历史和未来触觉预测，扩展了视觉WAM训练，使模型能够从力和形变的变化中学习，而不仅仅是视觉状态转换。
空间对齐融合触觉编码器是如何工作的？
它将触觉外观、力和形变流信号映射到共享的潜在空间，同时通过重建目标保留局部接触模式和全局力/力矩信息。
为什么TacWAM防止动作分支访问未来的感官目标？
为了确保部署期间的动作生成仅使用该时刻可用的信息，将未来的触觉状态作为预测监督而不是直接的动作输入。
使用了哪些任务来评估TacWAM？
TacWAM在四个真实世界的接触丰富操作任务上进行了评估，并在所有任务上始终优于纯视觉和视觉-触觉基线。