接触丰富操作是机器人操作中的核心且持久挑战，对实际部署至关重要。与自由空间操作不同，这些任务依赖局部交互状态，包括变形、压力、滑移和摩擦。这些状态在视觉观测中通常是弱可见、瞬态或被遮挡的，这使得以视觉为中心的策略在执行需要触觉信息调整时不可靠。
为解决这一问题，关键思路是将动作预测与触觉演化耦合，使策略能够在接触阶段利用触觉变化。近年来，世界动作模型（WAMs）通过耦合动作预测和视频预测，提供了预测世界动态的能力。基于世界动作模型，我们提出了VT-WAM，一种可视-触觉世界动作模型，它在统一的流匹配框架中联合学习未来视觉预测、触觉变形预测和动作预测。
具体而言，VT-WAM有两个核心模块使触觉动态对动作预测有用。非对称MoT注意力将动作令牌路由到首帧视觉锚点以获取场景上下文，并路由到完整触觉序列以获取接触演化。这使得视觉缓存推理模式在不丢弃接触阶段所需的触觉动态时得以实现。接触门控AVTAG通过应用仅训练的铰链排序损失来进一步减少视觉主导偏差，该损失鼓励动作查询在接触阶段关注触觉证据。这种辅助引导使模型在接触信息物理上信息丰富时更依赖触觉动态，而不改变推理时的架构。
我们在六个真实世界接触丰富任务上评估VT-WAM，涵盖表面交互和受限插入场景。VT-WAM达到71.67%的成功率，比基线Fast-WAM高出26.67%。对触觉动态建模方法和注意力引导的详细消融研究证明了我们核心设计在接触丰富任务中的有效性。
主要贡献
- 我们构建了VT-WAM，通过联合可视-触觉-动作流匹配将触觉变形动态与动作预测耦合。
- 我们引入非对称MoT注意力和AVTAG，以实现视觉锚点、时间触觉动态和接触阶段触觉引导。
- 我们在六个真实世界任务上验证VT-WAM，达到71.67%的平均成功率，比Fast-WAM高出26.67%；消融实验证实了两种设计。
实验
在本节中，我们首先描述实验设置，包括机器人平台、实现细节、基线、基准任务和评估指标。然后我们在六个接触丰富操作任务上评估VT-WAM，分析可视-触觉预测质量，并进行消融研究以量化关键组件的贡献。
主要结果
表I报告了六个接触丰富任务的性能。VT-WAM在所有评估方法中取得了最高成功率。与最强基线Fast-WAM相比，VT-WAM将成功率从45.00%提高到71.67%，绝对提升26.67%。
在受限插入任务中，成功取决于精细对齐而非持续表面覆盖。在插插头、刷卡、插管任务中，VT-WAM达到61.67%的成功率，而OmniVTLA为38.33%，Fast-WAM为33.33%。这些结果表明，当机器人必须在严格几何约束下修正微小位姿误差时，触觉动态同样有用。在插管任务中提升尤为明显，透明管使视觉对齐不可靠，成功执行需要触觉信息修正。结合表面交互结果，这表明将触觉变形动态与动作预测耦合提高了接触丰富任务的成功率。
结论
我们提出了VT-WAM，一种用于接触丰富操作的可视-触觉世界动作模型。VT-WAM通过将触觉变形作为时间交互动态与动作预测一起学习，扩展了世界动作模型，而不是仅将触觉观测作为辅助策略输入。在表面交互和受限插入任务上的真实世界实验表明，VT-WAM始终优于纯视觉和触觉输入基线，而触觉预测分析和消融进一步支持了触觉动态建模和接触阶段触觉利用的重要性。这些结果表明，将触觉变形建模为交互动态为改善接触丰富任务中的动作预测提供了一种有效方法。虽然本文专注于单个任务专门化以实现精确触觉建模，但多任务训练仍有待探索。未来关于多任务训练和规模定律的研究是一个有前景的方向。
常见问题
VT-WAM与标准的纯视觉世界模型有何不同？ VT-WAM联合学习触觉变形动态以及视觉和动作预测，而不是仅将触觉数据作为辅助策略输入，使模型能够利用接触阶段的触觉变化以实现更可靠的动作预测。
使触觉动态对动作预测有用的两个核心模块是什么？ 非对称MoT注意力将动作令牌路由到视觉锚点和完整触觉序列，而接触门控AVTAG应用仅训练的铰链排序损失，以鼓励在接触阶段关注触觉证据。
VT-WAM在哪些真实世界任务上进行了评估？ VT-WAM在六个接触丰富任务上进行了评估，涵盖表面交互和受限插入场景，包括插插头、刷卡和插管任务。
与基线相比的主要性能提升是多少？ VT-WAM在所有任务上达到71.67%的平均成功率，比最强基线Fast-WAM绝对提升26.67%。