近期工作探索了将类人重定向管线用于灵巧手的方法，但结果大多局限于仿真环境或仿真动作的开环复现。对于这一现实世界成功受限的现象，一个可能的解释是：简单的运动学重定向虽然能紧密匹配人手姿态，却忽略了手-物交互，产生物理上不可行的轨迹，难以作为下游强化学习的有效参考。这自然引出一个问题：在重定向过程中保持交互是否有助于改进基于强化学习的接触丰富型灵巧操作？
我们的贡献如下：
- 提出一个通用且极简的框架，通过单次人类示教学习灵巧操作。我们开源代码和数据，以便社区复现结果并在此基础上进一步研究。
- 应用一种简单而有效的数据增强策略，使强化学习策略接触多样化的轨迹，从而提高鲁棒性和泛化能力。
- 在具有挑战性的接触丰富型灵巧操作任务上评估我们的方法，证明其优于现有方法，特别是交互保持型运动重定向的价值。
重定向引导的强化学习框架
我们提出的框架称为Regrind，包含三个阶段。首先，通过动作捕捉手套和物体追踪器记录一次人类示教。其次，通过基于物理的优化，将人手运动重定向到机器人手，同时保持手-物交互。第三，训练强化学习策略以跟踪重定向后的轨迹，并在训练过程中应用数据增强以提升鲁棒性。
交互保持型运动重定向
关键创新在于交互保持型重定向步骤。我们不是简单地将人类关节角度映射到机器人关节角度，而是优化机器人轨迹，使其保持人类示教中观察到的手与物体之间的空间关系。这确保了接触丰富的交互得以保留，为下游强化学习训练提供了物理上可行的参考轨迹。
重定向目标平衡三项：匹配人手姿态的运动学项、保持手-物空间关系的交互项，以及确保机器人关节限位和避免自碰撞的正则化项。
面向鲁棒策略学习的数据增强
在强化学习训练中，我们应用轨迹级数据增强，使策略暴露于多样化的初始状态和物体配置。这包括随机化初始物体位姿、向参考轨迹添加噪声、扰动机器人初始关节位置。这种简单的增强策略显著提升了策略适应不同起始条件和现实世界动态的能力。
实验评估
我们设计实验回答以下关键问题：
- 交互保持型重定向是否提高了重定向保真度？
- 重定向过程中保持交互是否改进了下游强化学习性能？
- 使用Regrind训练的策略能否迁移到现实世界动态？
- 策略能否从不同的初始状态复现示教？
实验设置
评估指标。 我们使用以下两个指标评估策略性能：
- 物体跟踪误差 (Err.)： 当前物体关键点位置与目标物体关键点位置之间的平均距离。
- 成功率 (SR)： 成功试验次数占总试验次数的比例。
基线方法。 我们将我们的方法与两种代表性的从人类示教学习灵巧操作的基线方法进行比较：
- SPIDER，一种基于物理的重定向方法，生成动态可行的机器人轨迹。重定向后的轨迹可作为开环策略执行，或作为下游强化学习的参考运动。
- DexMachina，训练强化学习策略跟踪运动学重定向后的机器人轨迹，但在重定向过程中未考虑机器人-物体交互语义。
此外，我们与一个简单基线进行比较：使用微分逆运动学（Mink）将人类运动重定向到机器人，然后使用与我们方法相同的设置训练强化学习策略，称为Mink IK + RL。
结果
我们的方法在多个接触丰富型灵巧操作任务上持续优于所有基线。与仅运动学重定向方法相比，交互保持型重定向导致了显著更低的物体跟踪误差和更高的成功率。使用Regrind训练的策略还展示了成功的仿真到现实迁移，在真实硬件上部署时保持了高成功率。
局限性
我们对基于重定向的灵巧操作学习持乐观态度，因为我们已经在具有挑战性的任务上展示了令人鼓舞的结果，并对仿真到现实迁移在接触丰富型操作中的挑战有了更深入的理解。同时，仍存在一些局限性。首先，我们的方法在部署时需要运动捕获来获取物体状态。将基于状态的强化学习策略蒸馏为基于视觉的策略是自然而然的下一个步骤，以提高系统在野外场景中的适用性。其次，我们的管线仍然需要精心的系统辨识以实现仿真到现实迁移；一个有前景的方向是利用从现实世界交互中推断出的上下文，在测试时对策略进行自适应。
本项目部分由海军研究办公室（ONR）资助，奖项编号N00014-25-1-2086。模型训练使用康奈尔大学的Unicorn共享计算集群完成。冯云海感谢PoRTaL实验室在动作捕捉原型设计方面的支持，感谢Paige Yun在动作捕获基础设施方面的帮助，以及Samuel Jin和Praxis实验室其他成员的技术讨论。
常见问题
交互保持型重定向与标准运动学重定向有何不同？ 标准运动学重定向仅匹配关节角度，而交互保持型重定向还维持手与物体之间的空间关系，确保人类示教中的接触丰富交互得以保留。
训练一个策略需要多少次人类示教？ 该框架仅需一次人类示教即可训练灵巧操作策略，数据效率极高。
学习到的策略能否迁移到真实机器人硬件？ 是的，本文展示了使用Regrind训练的策略成功实现了仿真到现实迁移，表明交互保持型重定向生成了适合现实世界部署的物理可行轨迹。
该方法能处理哪些类型的灵巧操作任务？ 该方法在需要精确手指协调和力控制的具有挑战性的接触丰富型任务上进行了评估，例如物体重新定向和手内操作。