DexCompose：让一只机械手无需重新训练即可串联灵巧技能

DexCompose：让一只机械手无需重新训练即可串联灵巧技能

Dihong Huang, Zhenyu Wei, Zhuxiu Xu, Yunchao Yao, Sikai Li +1 位

1 分钟阅读•2026年6月29日

DexCompose是一个新框架，它让一只机械手无需重新训练即可重用预训练的操控策略（如抓球或倒水），通过组合它们实现多技能串联。通过将手指视为可重用资源，DexCompose将两个技能链接起来，同时避免干扰，在模拟复合任务中实现了高成功率。

目录

研究人员构建了什么

DexCompose是一个系统，它将两个灵巧操控策略——每个策略针对单一任务（如抓球、捡罐或倒水）训练——组合成更长的连续行为，仅用一只手完成。关键洞察是：灵巧手具有比许多单个任务实际所需更多的执行器（关节）。这种“具身冗余”可以被利用：一些手指分配给技能A，其余手指处理技能B。

研究人员为五个任务——GraspBall、PourMug、PickCan、PickStick和Hold状态——训练了基础策略，每个任务使用50次人类演示。然后，对于每个组合对（例如先GraspBall后PourMug），他们通过大语言模型（LLM）自动分配手指所有权，该模型生成动作掩码，使得只有特定手指控制每个策略。为了在过渡期间稳定物体，他们添加了一个“双残差稳定器”——一个小的学习修正，在技能B的手指开始移动时保持所持物品稳定。原始任务策略无需重新训练。

复合任务的手指分配示例

关键结果

DexCompose在模拟环境中对四个复合任务进行了评估，每个任务要求手先执行一个技能（如GraspBall），然后执行第二个技能（如PourMug）而不掉落物体。该框架在所有测试对中实现了超过90%的成功率。关键的是，没有手指感知掩码或没有双稳定器的策略组合导致失败率超过50%，表明这两个组件都至关重要。

主要定量结果：

  • 每个基础策略仅需50次人类演示即可训练。
  • 双稳定器训练仅在单个RTX 4090 GPU上耗时20分钟（1024个并行环境，1000次PPO迭代）。
  • 为支持稳定，每个技能A离线收集了4096个保持状态。
  • 基于LLM的手指掩码在每个测试组合中正确识别了冗余手指，无需手动调整。

这些结果表明，结构化的动作所有权——将不同的手指分配给不同的任务——显著减少了跨任务干扰，使手能够平滑地从一种技能过渡到另一种。

工作原理

DexCompose分三个阶段运行：

1. 基础策略训练——每个任务（如GraspBall）通过标准模仿学习从50次人类演示中学习，产生一个26维的关节空间策略（Shadow Hand有26个自由度）。不需要关于可组合性的先验知识。

2. 手指分配——在组合之前，LLM被给予两个任务和手部运动学的描述。它选择一组手指“拥有”技能A（例如拇指和食指），其余手指用于技能B（例如中指、无名指、小指）。此掩码应用于动作空间，使得每个策略仅控制其分配的关节。

3. 双残差稳定器——在过渡期间（例如抓球后倒水前），一个使用PPO训练的轻量级残差策略对技能A的手指施加小的、有界修正，以保持物体稳定，同时技能B的手指开始移动。稳定器观察物体姿态、指尖距离、接触模式以及当前基础动作，输出对技能A关节的小增量。

双稳定器架构，显示保留和释放的手指流
组件训练数据训练时间详情
基础任务策略每个任务50次人类演示未指定（数小时）行为克隆，组合后冻结
手指掩码选择文本提示+保持状态库<1分钟LLM（GPT-4）从候选集中选择掩码
双残差稳定器每个技能A的4096个保持状态约20分钟（RTX 4090）PPO与MLP actor-critic，1000次迭代

稳定器在掩码选定后训练，不更新冻结的技能B策略。这种双层设计（冻结的基础策略+学习到的稳定器）确保了可组合性，而不会灾难性遗忘或需要重新训练。

这对机器人学的意义

DexCompose指向一个未来：机器人可以像人类一样链接学到的技能——无需为每个新序列重新训练。例如，一只带有一只灵巧手的人形机器人可以先用同一只手从架子上拿起瓶子（PickStick），然后拧开瓶盖（TwistCap），尽管这些技能是分开教授的。这大大减少了编程新行为的工程负担。

在仓库和制造环境中，任务通常涉及顺序操控（取、放、倒、匹配），DexCompose可以让操作员即席组合现有的技能库。该框架对于计算能力有限的二手协作机器人和二手工业机器人特别有前景——基础策略在推理时高效运行，轻量稳定器增加的开销极小。

此外，使用LLM分配手指消除了手动任务分析，降低了非专家在人形机器人上组合技能的门槛。随着更多灵巧手进入市场，像DexCompose这样的框架将是释放其价值的关键，无需定制编程。

局限性与开放问题

DexCompose目前仅组合两个顺序技能。扩展到更长的链（例如抓→倒→放→擦）需要稳定器的层次结构或更复杂的时序规划机制。当前的稳定器针对每个组合对训练，随着技能库增长，这可能变得昂贵。

此外，所有实验都在模拟中进行；迁移到真实硬件会增加噪声、校准问题和动力学不匹配，稳定器可能无法处理。该框架还假设LLM识别出的“冗余手指”在物理上能够执行两种任务动作——对于需要全手参与的任务（例如握拳）可能不成立。未来的工作应测试对未见物体和任务组合的泛化。

复合任务序列示例：先抓取后倒出

常见问题解答

基础策略是否需要为DexCompose而训练？ 不需要。任何预训练的灵巧操控策略都可以接入，只要其动作空间覆盖标准手的所有26个关节。

设置一个新组合需要多长时间？ 在消费级GPU上约需20分钟的稳定器训练，外加LLM选择手指掩码的一分钟。无需人工标注。

DexCompose能否用于双手或其他机器人形态？ 该框架是为单手冗余设计的，但动作空间掩码的原理可以扩展到双臂系统，其中每条手臂分配一个子技能。

如果LLM选错了手指怎么办？ LLM在部署前使用保持状态库模拟释放测试，以验证掩码的稳定性。在论文的实验中，实际总是选择了正确的掩码。

结论

DexCompose提供了一种实用方法，无需重新训练即可组合灵巧操控技能，利用手指感知掩码和轻量级残差稳定器。它在模拟的四个复合任务上实现了超过90%的成功率，为单手机器人的灵活技能链接打开了大门。该方法降低了新任务的工程成本，使灵巧手在实际应用中更加即插即用。

你希望灵巧手通过组合简单技能学到的最难的长期任务是什么？

← 全部 Papers