研究人员将MediaPipe关键点提取与解析几何相结合，并针对半人形机器人NICO进行适配，实现了仅凭单个RGB摄像头模仿人类手臂动作。该方法无需训练数据，计算效率高，还能以可解释的方式将视觉观测映射为机器人电机指令。
引言
总体而言，现有研究表明，动作模仿既可以通过解析方法实现，也可以借助学习方法实现。基于学习的方法具有更强的灵活性和泛化能力，但代价是系统复杂度更高；解析方法则具有效率高、透明度好的优势，却往往需要针对特定运动学结构进行适配。此外，既有研究要么聚焦于较为简单的动作，要么依赖专用传感硬件。
在此背景下，本研究将基于解析几何的方法扩展到更广泛的手臂动作，并且仅使用RGB输入。通过利用MediaPipe提取关键点，并根据NICO机器人的运动学特性调整几何公式，所提出的方法无需昂贵传感器或计算密集型学习模型，即可实现具有实际意义的动作模仿。
相关工作
随着计算机视觉的发展，研究人员已经能够从RGB图像中提取人体骨架。其中最知名的系统之一是OpenPose，它面向多人二维姿态估计，使用两个卷积神经网络分别预测身体部位及其关联关系。
近年来，MediaPipe等方案能够利用普通RGB摄像头实时提取伪三维关键点。凭借低延迟特性，MediaPipe已成为人机交互和基于手势的系统中广泛采用的解决方案。
随着姿态估计系统的出现，基于视觉的人体动作模仿变得更加可行。机器人不再必须依赖可穿戴传感器或动作捕捉系统，而是可以直接从RGB图像推断人体姿态，并复现观测到的动作。这一发展推动了解析几何方法和基于学习的模仿方法并行演进。
Durdu等人较早探索了基于神经网络的机器人模仿方法。他们使用人工神经网络，对通过安装在关节上的传感器采集的人体手臂动作进行分类，并在机器人手臂平台上复现这些动作。
Lúčny等人探索了自监督方法，让机器人通过建立视觉观测与自身电机状态之间的关联来学习模仿。这类方法减少了对人工标注数据集的需求，并展现出良好的泛化潜力。尽管基于学习的方法灵活性高、泛化能力强，但通常需要大规模数据集、训练流程以及大量计算资源。
一些研究采用解析几何，将关键点坐标转换为关节角度，而不依赖基于学习的方法。Altayeb使用MediaPipe提取手部关键点，再通过直接的几何关系计算关节角度，以进一步控制机械手。该研究表明，无需采用学习方法，解析方法同样能够达到较高精度。其报告的准确率约为96%，说明解析方法具有良好前景，但它们能否适用于更复杂的动作，仍有待研究。
另一项相关研究提出了一种基于深度摄像头输入的系统。在该系统中，研究人员通过几何关系推导关节角度，并将其映射到NAO机器人平台。作者报告称，在手臂动作模仿任务中，系统的准确率约为95%，说明在能够获得精确三维数据时，解析方法可以发挥良好效果。然而，对深度传感硬件的依赖会增加系统成本和复杂度。
相比之下，本研究仅使用RGB摄像头输入，将类似的解析框架应用于人形机器人NICO。由于NICO的运动学结构不同于NAO机器人，相应的角度计算公式也必须进行调整。具体而言，所提出的系统包含前臂旋转和腕部屈曲的估计，而NICO没有NAO平台所配备的肘部横滚关节。此外，本研究引入了MediaPipe手部关键点，为估计腕部屈曲和前臂旋转提供更多信息。头部动作模仿不在当前实现范围内，因此未进行实验研究。
总体而言，现有解析方法表明，无需基于学习的模型，也能实现具有良好效果的姿态模仿。然而，既有工作要么聚焦于简化的动作集合，要么依赖专用硬件。因此，本文提出的方法无需训练阶段，仅使用单目RGB输入，支持完整的手臂与手部重建，并针对NICO机器人的运动学结构进行了专门设计。
材料与方法
下面介绍动作模仿所使用的硬件、软件以及处理流程。
三维坐标提取
所提出系统的一项关键限制，是只使用单个RGB摄像头，而没有引入深度传感器等额外感知模态。为在这一条件下估计人体三维姿态，研究采用了MediaPipe框架。MediaPipe能够直接从RGB图像中提取姿态关键点和手部关键点。
本研究使用第11—24号关键点，重点关注手臂动作。该方法可以扩展到全身动作模仿，这也是未来值得研究的方向。
此前的研究已经评估过MediaPipe输出结果的准确性。在该研究中，4名受试者从不同视角完成多项身体锻炼，真实值由动作捕捉系统（MTw Awinda）提供。结果表明，估计精度高度依赖观察角度，在发生遮挡时误差会增大。此外，关节角度估计通常比绝对身体尺寸测量更可靠。这些发现与本研究中的观察一致：遮挡和不理想的观察角度都会导致精度下降。
映射至NICO的角度
通过几何模型重建出的关节角度不能直接用作电机指令，因为NICO的每个关节都有各自允许的运动范围和电机坐标系。因此，研究人员将每个通过解析方法重建的角度线性映射到对应的电机范围。
由于区间边界处的电机位置已被明确指定，同一个方程可以自然地处理电机方向一致和相反两种情况。最后，计算得到的电机位置会四舍五入为最接近的整数，再发送给控制器。
结论
本文提出了一套基于单目RGB输入的解析流程，使半人形机器人NICO能够模仿人类手臂动作。该方法将MediaPipe姿态与手部关键点提取、基于几何关系的关节角度重建，以及针对NICO运动学结构设计的角度映射流程结合起来。与基于学习的模仿方法不同，所提出的方法无需训练数据，计算效率高，并能以可解释的方式将视觉观测映射为机器人电机指令。
在预定义手臂姿态数据集上的实验评估表明，该方法能够以中等精度重建肩部俯仰、肘部弯曲和腕部屈曲，而肩部横滚，尤其是前臂旋转，仍然更具挑战性。结果进一步显示，与仅使用姿态关键点相比，引入MediaPipe手部关键点能够显著提升前臂旋转的估计效果，但该关节仍是重建误差的主要来源。在受控实验条件下，不同受试者和观察角度之间的重建精度相对稳定，而受试者所执行的具体动作对性能的影响则大得多。
本文展示了一个概念验证：利用MediaPipe关键点和几何重建，可以通过解析方法实现基于单目RGB输入的动作模仿。尽管该方法在受控条件下对多个手臂关节取得了较为理想的结果，但在其成为适用于一般动作模仿的稳健方案之前，仍需进一步改进，并在规模更大、更加多样化的数据集上进行验证。未来工作将重点改进前臂旋转估计，引入时间平滑机制，将系统扩展到动态动作，并在更多样化的受试者和观察角度上评估该方法。
作者感谢Branislav Zigo提供技术支持。本研究得到Horizon Europe MSCA项目TRAIL（编号101072488）以及斯洛伐克研究与发展局项目APVV-21-0105的支持。
常见问题
NICO机器人如何在没有训练数据的情况下模仿手臂动作？ 机器人使用MediaPipe从单张RGB图像中提取人体姿态和手部关键点，然后应用解析几何公式计算关节角度，并将其直接映射到NICO的电机上，无需进行机器学习训练。
系统能够重建哪些关节？哪些关节最具挑战？ 该方法能够重建肩部俯仰和横滚、肘部弯曲、前臂旋转以及腕部屈曲。其中，前臂旋转最难重建，产生的误差也最大。
MediaPipe手部关键点如何提升模仿精度？ 与仅使用姿态关键点相比，引入手部关键点能够显著提升前臂旋转估计效果，因为它们为计算旋转角度提供了额外的几何约束。
系统能否适用于任意摄像头观察角度？ 重建精度取决于观察角度。当出现遮挡或观察角度不理想时，MediaPipe的关键点估计误差会增大，并直接影响关节角度的准确性。