灵巧操作是帮助机器人完成复杂物体交互的一条有前景的路径，但收集足够多的高质量机器人示范仍是一大瓶颈。对于高自由度机械手，遥操作界面的设计和使用成本尤其高昂，而且收集到的动作受特定机器人形态限制。人类视频为突破这一瓶颈提供了途径：无需机器人或遥操作设备即可轻松采集，且包含丰富的手部—物体交互视觉与运动学信息。近期方法利用这一特点，仅凭单个人类视频学习灵巧操作。
引言
然而，这些单视频方法大多将视频转化为执行层面的引导信息，例如重建的物体轨迹、重定向后的手部动作或接触线索。这类引导有助于学习高维灵巧操作策略，但也使所得策略受限于视频中呈现的动作和空间配置。即便是同一任务，这些方法对视频中未展示的初始物体姿态、目标姿态和抓取方式也难以泛化。
学习能够泛化至视频所示执行方式之外的灵巧操作策略，面临两个紧密相关的挑战。第一个是任务抽象：判断视频中哪些信息需要保留，哪些可以灵活变化。保留过多会使策略沦为重放记录的动作；保留过少则会导致任务定义不足。第二个挑战是艰巨的探索问题：允许变化的因素越多，策略就需要探索越大的状态空间。没有执行层面的引导时，强化学习（RL）难以在这一高维空间中发现多指、接触密集的交互，尤其是在多阶段任务中。
为应对这两项挑战，我们提出 Dex-One2Many，一种从单个人类视频学习可泛化灵巧操作策略的真实到仿真再到真实框架。其核心思路不是提取视频中的动作，而是提取任务结构：通过分阶段场景图描述必须满足的手部—物体和物体—物体关系及其顺序，同时让强化学习学习手部如何行动。我们提出两项技术。
首先，分阶段场景图抽象将视频简化为任务所需的关系，例如手握持物体或物体位于容器内，并保留这些关系发生的顺序。物体姿态、目标姿态和抓取方式均可灵活变化。当这些关系发生变化时，该抽象会将视频划分为不同阶段，并将每个阶段编码为一个图，其中包含描述手部、物体及其功能部位的谓词。每个阶段图表示的不是一个记录下来的状态，而是一组都能保留任务结构的状态。
其次，以场景图为依据的强化学习将每个阶段图用作生成式约束：采样满足该阶段关系的重置状态，其中包含多种多指抓取方式，并仅保留通过仿真检验的状态。这样，单个视频便可转化为覆盖整个工作空间的多个训练状态。通过检验的状态构成马尔可夫决策过程（MDP）的初始状态分布，其观测和奖励均由场景图导出。从每个阶段开始训练回合有助于简化探索：策略可以先练习最后一个阶段，而不必靠偶然机会才能到达该阶段。每个阶段内，由谓词推导的奖励能为满足阶段关系的进展提供密集信号，无需参照示范轨迹。因此，策略学习的是任务结构，而非记录下来的执行动作。
完全在仿真中训练后，所得策略能够零样本地在真实多指机械手上完成示范任务，并适用于视频中未展示的初始和目标物体姿态。我们在一台配备 20-DoF Wuji 1 机械手的 UR3 机械臂上评估了五项任务，涵盖直接物体操作和工具使用。在初始姿态和目标姿态均未在视频中展示的配置下，Dex-One2Many 在真实环境中的成功率达到 60–85%，而基线方法不超过 15%。
主要贡献如下：
- 分阶段场景图抽象：将人类示范表示为分阶段场景图，保留定义任务的结构——所需的手部—物体及物体—物体关系及其顺序——同时舍弃特定于执行过程的动作。
- 以场景图为依据的强化学习：利用每个阶段的场景图生成贯穿任务的多样化重置状态，使策略能够探索不同的抓取和动作，同时以场景图为依据构建观测与奖励。
- 在未见配置上的零样本仿真到现实迁移：在五项真实世界任务中，仅凭单个人类视频学习的策略在输入视频未展示的配置上取得 75% 的平均成功率，比次优基线高出 71 个百分点。
分阶段场景图抽象
我们将人类视频抽象为一系列分阶段场景图，保留必须满足的关系及其顺序，同时允许物体姿态、目标姿态、抓取方式和轨迹变化。每个图表示任务的一个阶段：节点标识手部、任务相关物体及其功能部位，边则描述该阶段的特征关系。即使从不同配置执行同一任务，姿态和轨迹可能不同，但所需关系及其顺序保持不变。我们将这一抽象称为分阶段场景图抽象。
实验
我们在仿真环境和真实硬件上评估 Dex-One2Many。实验旨在回答三个问题：
- Dex-One2Many 能否泛化到单个人类视频中未展示的初始和目标配置？
- Dex-One2Many 能否适用于运动学结构各异的多种灵巧操作实体？
- Dex-One2Many 的哪些设计选择对其性能至关重要？
实验设置
任务。我们在五项操作任务上评估 Dex-One2Many，涵盖直接物体操作和工具使用。直接操作任务——Doll、Can 和 Stamp——要求机器人抓取物体并将其移至目标配置。工具使用任务——Hammer 和 Sweep——要求机器人抓取并操控工具，与另一物体进行交互。
硬件设置。所有真实世界实验均使用一台 6-DoF UR3 机械臂，配备一只 20-DoF Wuji 1 灵巧手。两台 Intel RealSense D435i RGB-D 相机从互补视角拍摄工作空间。我们使用 FoundationPose++ 根据这些观测估计物体姿态。
基线方法。我们将 Dex-One2Many 与两种先前提出的、仅凭单个人类视频学习灵巧操作的方法进行比较。这些方法在从人类示范中提取的信息及其用于策略学习的方式上有所不同。Do as I Do 重建 4D 手部—物体交互，并通过轨迹优化将恢复的人类手部动作重定向到机器人。CHORD 将示范中的物体状态变化用作模仿奖励，并加入接触力—力矩引导，鼓励机器人复现示范轨迹。
超越人类视频的泛化能力
基线方法根据示范中的手部或物体运动提取执行层面的引导，因此受限于视频中观察到的执行过程。相比之下，Dex-One2Many 将分阶段场景图用作生成式约束，生成多样且符合任务要求的训练状态，使策略能够在示范执行方式之外的不同配置中学习相同的任务结构。
设计选择与评估方案
我们在仿真环境中针对 Sweep 任务开展所有消融研究。评估采用从空手状态开始的完整任务回合，并以任务成功与否作为衡量标准。我们研究 Dex-One2Many 的两个方面：其学习组件的贡献以及训练规模的影响。在组件消融实验中，每次移除一个组件，其余训练设置保持不变。在训练规模分析中，我们仅改变 PPO 训练所使用的并行环境数量。
谓词词汇表
谓词词汇表涵盖桌面操作中的常见关系。每个几何谓词还对应一种接近形式，以前缀 pre- 表示；当物体正在接近某种关系但尚未建立该关系时，此形式成立。
观测
场景图标识任务相关实体、各自角色、关系和功能区域。我们将示范中的手部映射到机器人的末端执行器，并根据任务中的角色指定其余物体。对于直接操作，观测包含末端执行器、被操作物体和承接物体。对于工具操作，被握持物体则是工具，并额外加入一个被作用的（交互）物体。
物体节点和功能部位节点提供其局部几何信息，例如物体尺寸、抓取区域和工作表面。根据其在交互中的作用，功能部位与手部或其他物体关联。我们用抓取区域的中心和边界框范围表示该区域；工作表面则由其中心、表面单位法向量及表面范围表示。
每条场景图边都会为相连实体提供相对 6D 姿态。重要的是，相对姿态根据边所编码的谓词定义：谓词决定使用两个实体的哪些几何特征，并遵循谓词距离函数所采用的相同特征定义。因此，一条边可能关联物体中心、功能区域或其他由谓词指定的特征，而不只是两个物体的中心。所有节点、部位和边的特征均拼接后构成策略观测。
对未见初始物体位置的泛化
为进一步分析超越人类视频的空间泛化能力，我们固定目标配置，并在可行工作空间内改变物体的初始位置。我们在五项任务中评估初始位置泛化能力。
不同实体与配置下的多样化抓取策略
从人类视频中提取的任务规范并未规定具体的抓取配置。相反，重置状态生成流程会让策略接触从 33-type 抓取分类中抽取的多样化多指抓取方式，使抓取策略能够适应机器人实体形态和当前物体配置。
结论、局限性与未来工作
尽管 Dex-One2Many 显著提升了对未见配置的泛化能力，并适用于不同的机械手形态，但仍存在若干局限。首先，由于真实世界部署依赖估计得到的 6D 物体姿态，仿真到现实之间仍存在差距。姿态估计噪声以及仿真物体与真实物体的几何差异会降低策略性能，尤其是在接触密集的交互过程中。
其次，真实到仿真的流程只能重建刚体物体，因此重建铰接物体需要手动制作资产。单个视频可能无法揭示底层铰接结构，例如关节位置、轴线和关节限位，因此自动化的真实到仿真重建仍然困难。如何直接从不受约束的视频中推断这些结构性运动学信息，是未来值得探索的重要方向。
致谢
本研究部分由以下项目资助：韩国政府（MSIT）资助的 Institute of Information & Communications Technology Planning & Evaluation (IITP) 项目 [No. RS-2021-II211343, Artificial Intelligence Graduate School Program (Seoul National University)]；由 Ministry of Trade, Industry & Energy (MOTIE, Korea) 资助的 Technology Innovation Program (RS-2025-25453780, Development of a National Humanoid AI Robot Foundation Model for Multi-Task Applications)；以及 Samsung Electronics Robotics eXperience (RX)。感谢 Tommoro Robotics 的 Jinu Pahk 和 Kangin Lee 为我们的真实世界实验提供 Wuji 1 机械手。
常见问题
Dex-One2Many 从人类视频中学习什么？ 它提取分阶段的任务关系及其顺序，而不是复现示范动作。
该方法如何生成训练状态？ 它利用每个阶段的场景图采样候选重置状态，其中包括多样化的多指抓取方式，并保留通过仿真检验的状态。
评估了哪些任务？ 五项任务分别为 Doll、Can、Stamp、Hammer 和 Sweep，涵盖直接物体操作和工具使用。
主要局限是什么？ 物体姿态估计以及仿真与现实之间的几何差异可能影响真实世界性能。此外，该流程只能重建刚体物体。