一种名为TacForeSight的新框架使机器人能够从腕部力和扭矩读数预测即将到来的触觉感受，从而以更高的鲁棒性执行接触密集型任务。在五个具有挑战性的操作任务中，该方法实现了79%的平均完成率和86.7%的意外扰动下成功率，显著优于现有方法。
目录
研究人员构建了什么
TacForeSight是一个用于接触密集型操作的两部分预测系统。第一部分TacForceWM是一种触觉世界模型，它利用高频腕部力/扭矩读数（120 Hz）和最近的触觉传感器数据（30 Hz）来预测短时域内的触觉潜在状态——本质上预判机器人在接下来几毫秒内指尖的感受。第二部分是预测性触觉条件策略，它使用这些预测的触觉潜在变量作为先验指导动作序列。
研究人员将两个Xense触觉传感器安装在Robotiq 2F-85夹爪的指尖上，该夹爪连接到一个7自由度xArm7机器人。腕部的UFactory六轴力/扭矩传感器以四倍于触觉采样率的速度捕获全局交互力。这种设置模拟了人类如何利用负载线索在显式触觉反馈到达之前预判接触状态。该系统在五个代表性任务上进行了测试，包括插销、表面跟踪和线缆布线，分别在标称条件和三种过程中扰动（高度、角度和姿态变化）下进行评估。
关键结果
TacForeSight与多个基线方法进行了比较：纯视觉策略、反应式触觉反馈控制器以及先前的触觉预测方法。评估使用多次试验的完成分数（成功执行任务的百分比）。
| 条件 | TacForeSight（提出的） | 最佳基线 |
|---|---|---|
| 标称（5个任务平均） | 79.0% | ~55%（从文本估计） |
| 高度扰动 | 90.0% | ~60% |
| 角度扰动 | 85.0% | ~50% |
| 姿态扰动 | 85.0% | ~45% |
| 所有扰动平均 | 86.7% | ~52% |
在标称条件下，TacForeSight在所有基线上大幅领先，尤其是在涉及多阶段接触过渡或精确力调节的任务中。当在执行过程中引入扰动时（例如突然升高台面高度、倾斜表面或移动物体），基线方法经常失去接触或导致滑动。而TacForeSight迅速恢复，重新建立稳定接触并继续任务而不丢失进展。
消融研究证实了每个组件的贡献。去除世界模型中的力条件使平均性能下降超过15%，而去除预测性触觉条件策略则使扰动恢复能力下降20%。
工作原理
TacForeSight分两个阶段运行：离线预训练和在线部署。在预训练阶段，触觉世界模型（TacForceWM）学习将力/扭矩读数序列和触觉观测映射到未来的触觉潜在状态。触觉分词器使用混合CNN-Transformer架构，将每个指尖的密集3D位移图压缩为紧凑的帧级标记。这些标记通过可学习的空间位置嵌入和手指特定身份嵌入进行增强，使模型能够区分两根手指及其局部接触几何形状。
力编码器处理高频腕部扳手信号（沿三个轴的分力和力矩）并对潜在动力学预测器进行条件化。该预测器学习在短时域内（通常提前2-3个时间步）预测触觉潜在变量的演化，给定当前触觉状态和力轨迹。关键洞察在于：腕部的全局力/扭矩变化比指尖的局部触觉变化早几毫秒发生——当触觉传感器记录到变化时，交互已经改变。从力预测触觉潜在变量使系统能够主动行动。
在在线部署中，预测性触觉条件策略接收多模态观测：相机图像（30 Hz）、关节位置、当前触觉潜在变量以及来自TacForceWM的预测未来触觉潜在变量。交叉注意力机制建模从当前到未来触觉表示的演化，产生一个预期接触先验。然后，触觉引导门自适应融合该先验与视觉特征，根据接触状态控制策略对触觉信息与视觉的依赖程度。最后，条件流匹配动作头生成平滑、接触感知的动作序列。
整个流水线以30 Hz运行，满足实时操作要求。紧凑的潜在空间（每个触觉帧64维）使计算量足够轻量，适合机载推理。
为什么这对机器人技术很重要
接触密集型操作——如将销插入孔中、擦洗表面或跟踪轮廓——仍然是机器人技术中最困难的挑战之一。传统的基于视觉的控制在近距离下受遮挡和低保真深度数据困扰。反应式触觉反馈虽然有用，但总是滞后于实际物理交互。当机器人感觉到滑动时，物体可能已经错位。
TacForeSight颠覆了这一范式。它不是对触觉事件做出反应，而是从提前到达的力信号中预测它们。这种主动能力使操作对意外扰动更加鲁棒，这在现实环境中很常见：工作台被撞到、零件在夹爪中移动，或者光照变化导致视觉退化。
对于购买二手工业机器人或仓库机器人以实现装配或包装任务自动化的买家来说，这种方法可能意味着更少的零件掉落、更高的产量以及对结构化夹具需求的减少。部署协作机器人进行精密装配的公司可以从增强的对准误差和环境变化鲁棒性中受益。
模块化设计还意味着力条件化的世界模型可以适应其他传感器配置或机器人形态，尽管当前实验使用了特定的双指夹爪设置。
局限性与未解问题
TacForeSight仅在单一机器人平台和并行夹爪上进行了测试。该世界模型假设固定的传感器布局，可能无法直接转移到不同的夹爪、多指或软手而不重新训练。短预测时域（2-3个时间步）足以进行局部调整，但不提供复杂序列的长期预见能力。
使用的力-扭矩传感器（UFactory六轴）是高质量工业传感器；低成本或噪声较大的传感器可能会降低预测质量。该方法还需要触觉和力传感，增加了硬件成本和复杂性，并非所有设置都具备。
对不同顺应性物体（例如软泡沫与刚性金属）的泛化能力未得到广泛研究，且使用的触觉传感器（Xense）是基于位移的，而非力敏感的。相同方法是否适用于其他触觉模态（如GelSight或taxels）是一个开放问题。
常见问题解答
TacForeSight需要哪些硬件？ 它需要一个带有腕装力/扭矩传感器（至少120 Hz）和每个指尖触觉传感器的机器人手臂，以及一个腕部相机。研究人员使用了7自由度xArm7、Robotiq夹爪、RealSense D435、UFactory F/T传感器和Xense触觉传感器。
系统运行速度如何？ 完整的预测和控制流水线以30 Hz运行，与相机和触觉传感器帧率匹配，足以用于实时操作。
没有力传感器也能工作吗？ 力条件化是该方法的中心——去除它会使性能下降超过15%。低成本力传感器可能有效，但高频力信号的质量对于准确的触觉预测至关重要。
它适用于柔软或可变形物体吗？ 论文测试了刚性和半刚性物体（销、线缆、表面）。柔软或高度可变形物体可能需要不同的触觉传感，并且可能不遵循相同的力-触觉动力学。
结论
TacForeSight通过将高带宽腕部力信号与未来触觉状态联系起来，提供了一种实用的方法，赋予机器人预测性触觉感知。在标称和扰动条件下均取得了强劲的结果，为在现实环境中实现更可靠的接触密集型操作指明了清晰的道路。
从力数据预测触觉反馈能否成为下一代夹爪和手臂的标准功能？
论文：TacForeSight: Force-Conditioned Predictive Tactile World Models for Contact-Rich Manipulation