对于执行插入钥匙、连接线缆、紧固和装配等接触密集型操作任务的机器人而言，可靠地与物体进行物理交互至关重要。在这些场景中，相对位姿或局部几何形状的微小估计误差，都可能导致接触失败、卡滞、受力过大，甚至任务失败。其核心难点在于部分可观测性：机器人必须根据视觉、本体感知和接触信息，推断只能被间接观测到的孔洞或腔体位姿。深度传感能够提供有用的全局信息，但会受到传感器噪声、遮挡、视角受限以及零件几何形状引发的歧义影响。与任务最相关的表面，可能隐藏在孔洞内部，或只有通过物理交互才能显现。
关键洞见在于：当力–力矩信息结合几何和仿真进行解读时，它便能提供具有空间指向性的线索。原始力–力矩数据并不能直接揭示接触点或物体位姿。然而，在给定机器人状态、探测动作和假设物体位姿的条件下，物理仿真可以预测应当观测到的接触证据。将仿真结果与实测接触信息进行比较，就能为各种可能的位姿定义似然。这样一来，接触不再只是控制用的反馈信号，也成为有关隐藏场景状态的贝叶斯证据。BayesContact还利用当前信念选择下一步探测动作，将接触转化为一种主动感知机制。
接触密集型操作中的多传感器融合
传感器融合方法将不同来源的信息整合到统一的状态表示中，以支持任务执行。在接触密集型操作中，这些信息源包括相机、力–力矩传感器和机器人本体感知。尽管此类方法在平面推动任务中表现出色，但有力交互需要接触模型，将交互物体的构型与交互力联系起来。本研究沿用了既有方法中的贝叶斯推断框架，同时引入由仿真器提供的传感器似然——尤其是图形引擎和物理引擎，从而获得更灵活的建模能力。
利用接触进行物体位姿估计
已有研究尝试仅利用接触感知来估计物体位姿。其中一些方法在平面推动任务中，采用概率表示和因子图优化，联合估计物体位姿与几何形状，并使用极限表面模型描述交互动力学，同时假设机器人上的接触位置已知。这些方法为平面推动提供了有效的接触模型近似，但对于插销入孔等有力交互任务，则需要能够跟踪接触位置的近似模型；在给定几何形状的条件下，仿真可以提供这类信息。
已有研究提出可微接触特征，将接触模型用于有力交互任务，并展示了双层优化：内层优化求解接触力，外层优化求解物体构型。本方法采用了类似思路，使用基于采样的推断生成物体构型候选，并通过仿真器评估接触模型。触觉感知是估计并纠正位姿差异的常见范式；相关方法包括利用触觉感知模态并学习接触线估计器来处理插销入孔任务，或学习触觉传感器模型，将触觉图像与视觉深度图像融合。尽管这些方法效果良好，但都假设外部接触位置已知。本研究则推断接触位置，并融合由此得到的证据，以估计隐藏孔洞的位姿。
基于采样的推断与接触
针对位姿估计任务提出的通用近似推断框架，通常通过因子图融合多种信息。整合不同传感模态时，基于因子图的优化需要指定一个可微的前向模型。由于接触本质上具有不连续性和非线性，研究者通常会采用面向具体任务的接触近似，使其适用于状态推断。本研究在此基础上引入几何条件化力似然和基于深度的图像似然，从而实现接触感知的场景理解，用于估计插销插入任务中的孔洞位姿。
基于仿真的贝叶斯推断
位姿估计被表述为对未知物体位姿进行贝叶斯推断。给定观测后，贝叶斯推断会将先验信念更新为后验信念。对于序列观测，这一更新可以递归地表示。
序贯蒙特卡洛
由于遮挡、对称性、视觉歧义以及多种可能的接触解释，物体位姿的后验分布可能呈多峰形态。因此，系统使用一组带权粒子表示信念，其中每个粒子都是一个位姿假设，并带有归一化权重。序贯蒙特卡洛（SMC）通过提出位姿假设、评估其基于仿真的似然、归一化粒子权重，并在必要时进行重采样来更新信念。这种表示非常适合BayesContact，因为每个粒子都可以独立渲染或仿真，以评估其与视觉和接触测量的一致性。
系统概览
在推断过程中，系统利用每个粒子，通过图形渲染器确定深度观测，并通过物理仿真器确定探测动作下的接触观测。随后，利用似然将这些仿真观测与实测深度及力–力矩数据进行比较。它们构成估计器的前端。接着，系统通过SMC推断，利用这些似然更新由粒子表示的信念，这对应于BayesContact的后端。推断分为两个阶段。首先，利用深度观测，通过结合Metropolis–Hastings细化的SMC初始化视觉后验。其次，接触阶段以视觉后验为初始状态，通过接触密集型探测更新信念。在这一阶段，每次探测既可能提供由力–力矩数据推导出的接触证据，也可能提供相关深度观测；二者通过联合的基于仿真的似然进行融合。
问题定义
测量按时间顺序编号：最初的测量对应视觉感知阶段，其余测量对应接触密集型交互阶段。在所有测量过程中，物体位姿保持不变；随着新的视觉和接触观测不断获得，信念则按序更新。
动作空间与保护性探测
为获取接触测量，机器人执行接触动作；这些动作规定了用于获取孔洞位姿信息的保护性探测运动。在接触阶段，动作由平面偏移和偏航角偏移参数化。根据指令偏移，机器人沿负轴方向执行受保护的垂直下探。当力–力矩超过预设阈值，或达到最大位移时，运动终止。动作由笛卡尔阻抗控制器执行，该控制器跟踪与动作相关的参考轨迹。保护性运动期间采集的力–力矩测量会被转换为接触证据，并用于相应的贝叶斯更新。
实验
为验证BayesContact，研究评估了以下三个问题：
- 力–力矩诱导的接触位置信息是否能够提升位姿可观测性？
- 与参数化替代方案相比，基于粒子的仿真推断信念是否能更好地保留并消解几何歧义？
- 这种信念表示是否能够支持主动感知？
指标
位姿精度通过ADD-S、位置误差和方向误差进行评估。ADD-S在考虑物体对称性的同时，衡量几何对齐程度。
结论
本研究提出了BayesContact：一种基于仿真的推断框架。该框架将几何条件化力–力矩似然和深度似然与SMC推断相结合，用于估计插销入孔场景中孔洞位姿的信念分布。通过仿真和真实机器人实验，研究表明，基于力–力矩的接触信息能够提升位姿的可观测性，优于仅依赖深度的估计结果。由此得到的信念表示还可用于基于信息增益的主动感知。
常见问题
BayesContact如何融合视觉与触觉信息？ 它采用序贯蒙特卡洛框架，分别评估每个位姿假设（粒子）与深度图像（通过图形渲染）及力–力矩测量（通过物理仿真）的一致性，再融合所得似然来更新信念。
当孔洞表面被遮挡时，为什么力–力矩感知仍有助于位姿估计？ 原始力–力矩数据并不能直接揭示位姿，但在给定机器人状态、探测动作和假设位姿后，物理仿真可以预测预期接触，从而将力–力矩数据转化为有关孔洞位置的贝叶斯证据。
对于传统因子图方法而言，接触密集型位姿估计难在哪里？ 接触本质上具有不连续性和非线性，因此很难指定因子图优化所需的可微前向模型。BayesContact则通过基于采样的推断和基于仿真的似然评估绕开了这一问题。
BayesContact能自主选择探测动作吗？ 可以。其信念表示支持主动感知，机器人能够选择使孔洞位姿预期信息增益最大的下一步探测动作（平面偏移和偏航角偏移）。