机器人抓取是自主物体操作的基本能力之一。在人形机器人中，这项任务需要整合视觉感知、物体定位、逆运动学（IK）和手部控制。即使机器人在仿真中能够准确到达目标点，由于机械误差、执行器缺陷、传感器噪声或机器人模型中的简化假设导致的仿真到现实（sim-to-real）差距，同样的动作在物理平台上可能会失败。
我们在之前的工作中通过引入一种基于触屏触觉反馈的低成本校准方法解决了这个问题。机器人触摸屏幕上一组目标点，利用记录到的接触位置训练校正模型，将现实世界目标位置映射到合适的仿真坐标。该方法提高了类脑伴随（NICO）人形机器人的到达精度。然而，到达点只是成功操作的第一步，因为抓取还需要物体检测、定位、手部定位以及抓取动作的可靠执行。
相关工作
一些研究直接在机器人抓取中处理仿真到现实的迁移。James等人使用随机化到规范化的自适应方法进行数据高效的仿真到现实抓取，而Gäde等人则将域随机化和域自适应应用于NICO人形机器人的视觉运动抓取。与这些方法相比，我们的工作不训练端到端的抓取策略，而是使用显式的定位、逆运动学和基于校准的修正。
材料与方法
本工作直接建立在之前的校准方法之上。我们使用相同的机器人平台、仿真控制软件和校准校正模型，并针对桌面抓取任务的需求进行了调整和进一步开发。
机器人设置与软件
实验使用人形机器人NICO，采用其右臂和四指儿童尺寸手。一个纸质网格提供了伪地面真值，用于在机器人可达区域内放置物体并评估抓取性能。视觉感知方面，我们使用机器人自带的立体相机设置，可提供640x480像素的低分辨率鱼眼图像。
校准模型
为了减少真实工作空间中目标位置与仿真器及逆运动学模块使用的对应位置之间的差异，我们使用了三种校准模型。在抓取任务中，这些模型将桌面上估计的物体位置转换为机器人手的校正后目标位置。
基准模型M1基于手动对齐的仿真和测量高度值的插值，使用分段线性映射。M2是一个部分非线性的神经网络校正模型，其中水平目标坐标由多层感知机（MLP）预测，而高度分量仍通过插值获得。M3是一个完全非线性的神经网络模型，直接预测校正后的三维目标位置。校准过程、模型训练和到达评估的详细描述见我们之前的工作。
本文中，模型不重新训练，而是作为抓取流程中的校正模块使用。这使我们能够评估为二维到达优化的校准模型是否也能改善物体抓取，其中小的残留定位误差可能对任务成功产生更大影响。
使用视觉反馈的手部对齐
除了校准模型，我们还实现了一种视觉反馈方法，用于在抓取前将机器人的手与检测到的物体对齐。首先，机器人使用视觉模块估计物体位置，并将手移动到物体上方的近似位置。然后，再次使用视觉模块检测机器人的手，并通过立体视觉重建其位置。
步长随着距离减小而逐渐减小。这防止了当手已经接近物体时出现大的振荡。重复对齐，直到检测到的手部位置与物体位置之间的水平距离低于预定阈值（设为1厘米）。然后，手向物体降低，并通过闭合手指执行抓取。
为了使手部检测更可靠，我们在对齐阶段调整了手部姿势。手掌朝向相机旋转，使得检测器在估计手部位置前能更一致地观察到手掌中心部分。尽管手的总体平均精度（mAP）较低，但这有效防止了YOLO检测失败。
该方法在我们的比较中作为M4。与M2和M3校正模型不同，它不使用基于校准的目标校正，而仅依赖视觉反馈在手抓取前将手与物体对齐。
抓取流程与实验评估
为了成功执行抓取，我们还应用了两个任务特定的校正：垂直目标校正和手掌偏航校正。合适的z值和偏航角是在机器人工作空间内一组不规则分布的参考点上手动测量的。对于任意目标位置，这两个值均通过径向基函数（RBF）插值估计。手掌的横滚角和俯仰角保持固定，以保持自上而下的抓取姿势。
完整的抓取流程从机器人相机捕捉图像开始。YOLO检测器提供图像坐标中的物体位置，然后立体视觉模块用于估计深度。检测到的点通过机器人头部的运动学链转换到机器人坐标系。这个现实世界目标位置随后通过一个校正模型转换为仿真目标位置。最后，偏航校正提供手掌方向，逆运动学求解器计算所需关节角度，并通过NicoMotion库在真实机器人上执行运动。
我们使用M1至M4模型评估了四种抓取方法。将毛绒番茄放置在机器人手臂可达工作空间内的22个网格位置上。对于每个位置和每个模型，进行三次抓取尝试，每个模型共66次尝试。除了总体抓取成功率外，我们还评估了原始神经网络校正区域内的成功率，该区域包含10个目标位置。这使我们能够比较校准区域内的性能以及模型在整个桌面工作空间中的泛化能力。
基于校准的抓取结果
为了验证这一假设，我们可视化了M3中神经网络的预测，包括神经网络校正区域外的点。输入目标位置与预测仿真位置之间的平均位移在校正区域内仅为2.14厘米，但在校正区域外增加到5.45厘米。因此，这些预测证实M3在桌面工作空间的大部分区域外推效果较差，通常过度补偿所需校正。唯一的例外是原始触屏区域的左侧部分，那里预测趋势与校准区域内一致，这也解释了为什么该区域内的几次抓取尝试成功了。
视觉反馈与总体比较
视觉反馈手部对齐模型作为基于校准的校正模型的替代方案进行了评估。与M2和M3不同，它不使用基于校准的目标校正，而仅依赖视觉反馈在抓取前将检测到的手部位置与检测到的物体位置对齐。该方法在整个桌面工作空间中提高了抓取性能。成功抓取不再仅集中在神经网络校正区域内，也出现在原始触屏区域之外的区域。总体而言，该模型实现了72.7%的成功率，即66次尝试中48次成功。
M2模型的性能低于M3，这与我们之前工作中报告的到达结果一致。在神经网络校正区域内，最佳结果由M3获得，成功率为96.7%。在整个测试工作空间中，最佳结果由视觉反馈模型获得，成功率为72.7%。
讨论
与其他机器人抓取研究的直接比较较为困难，因为平台、物体、传感器和评估协议差异很大。最可比的工作是在NICO机器人上也评估了仿真到现实的抓取，但使用左手进行圆柱物体的侧抓取。他们的最佳模型使用域自适应和固有逆运动学实现了80.3%的成功率。我们的视觉反馈模型总体达到了72.7%，而完全非线性校准模型M3在校准的神经网络校正区域内达到了96.7%。
视觉反馈模型的主要限制是基于立体视觉的手部定位。在几个位置，当手部背景距离机器人太远时，手部位置被严重高估。这降低了总体成功率，但当手部定位正确时，性能仍然很高。改进手部分割或深度估计可能会进一步提升模型性能。
总之，我们实现了一个低成本的抓取流程，结合了物体检测、立体视觉定位和校准的逆运动学控制，无需RGB-D相机、动作捕捉或外部跟踪。尽管使用了任务特定的校正来补偿机械误差，但底层方法仍具有通用性。结果表明，为二维到达开发的触觉校准也能改善物体抓取，而视觉反馈在未使用基于校准的校正时提供了一种有效的替代方案。
我们感谢匿名审稿人的详细反馈。I.F.得到了斯洛伐克研究与发展局项目APVV-21-0105的支持。
常见问题
什么是仿真到现实的差距，为什么它影响NICO的抓取？ 仿真到现实差距是指由于机械误差、执行器缺陷和传感器噪声导致的仿真与物理硬件之间的差异。这些差异导致在仿真中完美运行的动作在真实机器人上失败。
校准模型M1、M2和M3之间有何不同？ M1使用简单的分段线性插值，M2结合神经网络进行水平校正与高度插值，M3是完全非线性的神经网络，直接从现实世界位置预测所有三个目标坐标。
为什么视觉反馈模型M4的整体成功率优于校准模型？ M4在抓取前使用迭代视觉对齐手与物体，这在整个工作空间中有效。而校准模型M2和M3仅在受触屏数据训练的有限区域内表现良好。
视觉反馈方法的主要限制是什么？ 当手部背景距离机器人太远时，基于立体视觉的手部定位有时会高估手部位置，导致对齐误差并降低这些位置的抓取成功率。