我们提出 ContactMimic 框架，它通过显式、测试时可控制的接触标签增强人形机器人关键点跟踪。通过在一个共享关键点结构但接触指令不同的配对运动上训练单一策略，并利用接触感知奖励进行监督，该策略学会根据指令产生或抑制物理接触。在仿真和真实 Unitree G1 机器人上的多种人-物交互运动中，该策略遵循指令接触，在可比跟踪精度下，在接触指标上优于仅基于关键点的基线，甚至仅通过本体感觉就能编码其运行时的接触状态。
引言
针对第二个问题，我们从两方面将接触数据用于策略训练。首先，我们将接触指令注入策略。其次，我们引入奖励来鼓励策略匹配指令接触模式：接触标签匹配奖励衡量参考与实际身体部位-物体部位接触的一致性，以及接触距离奖励根据参考标签引导相关身体部位靠近（或远离）物体表面。
生成运动对以打破关键点与接触的关联
我们提出的接触和关键点跟踪器需要带有每时间步关键点和接触标签的参考轨迹进行训练。我们从人体 MoCap 数据中提取此类接触标签配对的关关键点轨迹。现有工作仅提取关键点，我们将其扩展到也提取接触信息。如实验所示，仅在此数据上训练并不能实现良好的接触控制，因为关键点模式与接触之间存在关联。因此，为实现真正的接触控制，我们提出了打破这种关联的增强策略。
增强轨迹。对于每个重定向的剪辑，我们合成多个增强，保留整体运动结构但打破关键点位置与任务相关接触（例如，抬起盒子任务中的手腕-盒子接触）的接触标签之间的关联。
实验设置
我们使用 Isaac Lab 中的 Unitree G1 人形机器人（29 自由度）和 PhysX 刚体仿真。每个环境包含一个交互物体，根据运动可以是固定或自由。
运动数据集。我们在 HUMOTO 数据集的 10 个运动剪辑上进行训练，涵盖多种人-物交互类别。
实验
我们在多样化人-物交互运动上的实验旨在回答 5 个关键问题：我们的策略是否遵循指令接触条件？接触控制能否迁移到真实世界？单独的关键点控制是否足够，或者最先进的关键点跟踪基线是否已经产生准确的物理接触？我们的数据工程策略对于学习接触控制是否必要？策略的内部表示在多大程度上已经编码了机器人实际运行时的接触状态，仅基于本体感觉观测？
策略表示编码运行时接触状态
由于大多数机器人没有全身接触传感器，我们有意决定不要求将机器人不同身体部位的实际运行时接触状态作为策略输入。部分原因是接触状态可以通过本体感觉推断。我们通过计算策略输入和策略中间表示的线性探测的接触状态预测准确性来定量评估。
结果。对于原始观测和 Layer 2 表示，F1 分数非常高，远高于随机水平（即接触的时间步数）以及参考标签本身。因此，尽管在推理时没有显式接触感知，策略也能感知到机器人的运行时接触状态，并调整其行为以满足指令接触状态。
讨论与局限
我们提出了 ContactMimic 框架，它通过显式、测试时可控制的接触标签增强人形机器人关键点跟踪。通过在一个共享关键点结构但接触指令不同的配对运动上训练单一策略，并利用接触感知奖励进行监督，该策略学会根据指令产生或抑制物理接触。在仿真和真实 Unitree G1 机器人上的多种人-物交互运动中，该策略遵循指令接触，在可比跟踪精度下，在接触指标上优于仅基于关键点的基线，甚至仅通过本体感觉就能编码其运行时的接触状态。我们相信显式接触条件化是一种表达接触丰富任务的简单通用接口，是朝着有目的而非偶然与世界交互的人形机器人迈出的一步。
我们的方法有几个局限性。首先，我们为每个运动训练单独的策略，而不是一个通用的接触条件化跟踪器。跨运动联合训练接触条件化策略将是自然的下一步。其次，我们基于 HUMOTO 数据集的高质量人-物交互数据构建方法，这限制了当前能覆盖的交互多样性。开发能够利用野外视频数据的方法会有所帮助。最后，我们的真实世界评估仅在单个机器人上涵盖五个运动；更广泛的硬件验证是未来的工作。
常见问题
ContactMimic 如何在没有物理接触传感器的情况下控制接触？ 策略通过仅从本体感觉观测推断其运行时接触状态，从内部表示预测接触标签时达到高 F1 分数。
什么增强策略打破了关键点与接触之间的关联？ 对于每个重定向的运动剪辑，合成多个增强，保留整体运动结构但改变任务相关身体部位和物体表面的接触标签。
评估使用了什么机器人硬件？ 使用了 Unitree G1 人形机器人（29 自由度），在 Isaac Lab 仿真和真实实验中均使用。
ContactMimic 需要每个运动一个策略还是一个通用策略？ 目前每个运动训练单独的策略；训练跨所有运动的通用接触条件化跟踪器被列为未来工作。