伦敦国王学院的研究团队开发了 VTLoc，这是一个基于学习的系统，融合触觉传感器读数与视觉点云，以精确定位机器人触碰物体的位置。通过在三维空间中对齐触觉和视觉数据，VTLoc 将接触定位误差降低了 40% 以上，使机器人向灵巧操作迈进了一步。
目录
研究内容
VTLoc 是一个神经网络框架，它回答了一个对任何配备触觉的机器人来说都至关重要的问题：“我的手指刚刚碰到了物体的哪个位置？” 它接受两个输入——物体的三维点云（来自深度相机或激光雷达）和触觉传感器在接触时刻的信号——并输出点云上的概率热力图，指示最可能的接触位置。
核心创新在于几何多模态对齐模块（GMA），它强制触觉和视觉特征在三维空间中保持几何一致性；以及迭代定位更新器（ILU），它逐步细化接触预测。这种双重方法解决了一个经典问题：触觉传感器本身无法区分触摸平面上的点 A 还是点 B，但视觉点云提供了几何背景来消除歧义。
为了训练和测试 VTLoc，研究团队建立了一个包含 100 个真实物体的基准数据集，这些物体具有不同的形状、大小和表面纹理，并通过动作捕捉系统收集了真实的接触位置。
关键结果
在 100 个物体的基准测试中，VTLoc 相比现有的触觉接触定位方法取得了显著改进：
- 平均位置误差（MPE）： VTLoc 将 MPE 降低至 11.2 毫米，比次优基线（纯触觉方法，误差 19.4 毫米）提高了 42%。
- Top-1 准确率： VTLoc 在 87.3% 的情况下正确识别了最近的候选接触点，而纯触觉基线仅为 62.1%。
- Top-5 准确率： 正确的接触点出现在前五个候选中的概率为 96.8%，即使在精确点不明确的情况下也表现出高可靠性。
ILU 模块的迭代细化贡献了约 15% 的准确率提升，其余来自 GMA 模块。在具有几何对称性的物体（如碗、杯子）上，VTLoc 内置的对称性先验机制将 Top-1 准确率从 82.5% 进一步提高到 89.1%。
工作原理
VTLoc 分三个阶段运行：
- 特征提取： ResNet-18 处理触觉图像以生成触觉特征向量。PointNet++ 骨干网络将整个三维点云编码为逐点的几何特征。
- 几何多模态对齐（GMA）： GMA 模块不是简单地将触觉和视觉特征拼接，而是通过学习的仿射变换将触觉特征投影到点云的三维空间中，然后应用交叉注意力机制，将每个触觉特征元素与点云中几何上最相似的点匹配。这确保了触觉读数与局部表面几何结构相符——平面区域的触觉模式不会与弯曲区域匹配。
- 迭代定位更新器（ILU）： 对齐后的特征图通过基于 transformer 的更新块，在 3-5 次迭代中细化点云上的接触概率分布。每一步，网络根据点的局部几何结构与触觉信号的匹配程度重新加权，最终收敛到高置信度的预测。
对于对称物体（如碗或盘子），VTLoc 应用旋转对称先验：生成初始热力图后，将概率分布绕物体对称轴旋转并平均结果。这确保了所有物理上等效的接触位置（例如，碗边缘上相同半径的任何点）获得相同概率，避免了对特定点的错误置信。
对机器人技术的意义
可靠的触觉接触定位是许多高级操作任务中缺失的一环。当前的人形机器人和协作机械臂 在物体交互中严重依赖视觉，但视觉在遮挡或光照不良的情况下会失效——而且它无法告诉机器人接触的力度。VTLoc 填补了这一空白。
在仓库和制造环境中，二手工业机器人 被用于料箱抓取、装配和质量检测，增加触觉接触定位意味着机器人可以验证它是否正确地抓取了物体，即使相机视野被夹爪本身遮挡。它还支持更精细的操作，例如将销钉插入孔中，精度达到亚厘米级。
处理对称物体的能力尤其实用：杯子、碗、螺丝和许多其他日常物品都具有旋转对称性。VTLoc 的对称性先验使其对这些常见情况具有鲁棒性，因此不会在两个同样合理的接触点之间产生混淆。
局限性与未解问题
VTLoc 假设物体是刚性的，不考虑泡沫、织物或食物等柔软或可变形材料。对于这些材料，触觉信号会随着物体变形而连续变化，需要时间建模变形动力学——作者将此方向列为未来工作。
基准测试仅包含 100 个物体，全部在受控实验室光照下使用高质量点云。实际部署将面临噪声点云、不同表面反射率和不同触觉传感器类型。系统对传感器噪声和点云分辨率的敏感性尚未得到充分测试。
最后，当前框架执行单点接触定位。许多实际任务需要组合多次接触以减少不确定性（例如，“我先碰到这里，然后碰到那里——所以物体一定是这个朝向”）。将 VTLoc 扩展到多点接触序列是合乎逻辑的下一步。
常见问题解答
VTLoc 与纯视觉物体位姿估计有何不同？ 纯视觉方法估计物体在空间中的位置，但无法告诉你手指确切接触的位置——尤其是当手指遮挡物体时。VTLoc 将触觉读数与视觉显式融合，以精确定位接触点。
VTLoc 需要什么样的触觉传感器？ 系统原则上与传感器无关。作者使用了 GelSight Mini（一种基于凝胶的光学触觉传感器），但架构仅需要触觉图像作为输入，因此可以适配任何产生触觉图像的触觉相机或传感器阵列。
VTLoc 可以在没有完整物体点云的情况下工作吗？ 可以——点云可以是部分（来自单个相机视角）或完整（来自三维扫描仪）。性能在覆盖率较低时会逐渐下降，但仅使用正面视角的点云，系统仍能达到低于 2 厘米的误差。
系统速度快到足以实时控制吗？ 前向传递在消费级 GPU（RTX 3090）上大约需要 35 毫秒，远低于大多数机器人控制系统的循环速率。迭代细化每次迭代增加约 10 毫秒，因此 3 次迭代的运行保持在 70 毫秒以下。
结论
VTLoc 展示了一种实用且有效的方法，将触觉感知与视觉几何相结合，实现精确的接触定位。通过在三维空间中对齐两种模态并迭代细化预测，它将误差率降低了近一半，并直接处理对称物体。随着触觉传感器变得更便宜和更普及，像 VTLoc 这样的方法对于赋予机器人真正的触觉至关重要。
从装配到手术，哪一项应用最能从亚厘米级的触觉接触定位中受益？