DexVerse是一个模块化基准，专为多任务、多形态灵巧操作而设计。它统一了多样化的任务类别、多种手臂-手形态、可配置的视觉变化、VR遥操作、多模态演示以及代表性的策略评估。该基准为研究接触丰富的灵巧控制、视觉运动鲁棒性和形态感知的机器人学习提供了一个具有挑战性且可扩展的测试平台。
模块化环境设计
DexVerse采用配置驱动设计来指定和实例化操作环境。每个环境由一组结构化组件定义，包括场景布局、物体资源、机器人形态、观察和动作接口、初始化规则、成功条件以及随机化设置。同一系列的任务共享可重用模板，用于资产加载、状态初始化、重置事件和成功检查等通用逻辑，而任务特定参数则定义操作对象、目标状态、采样范围和完成阈值。这种设计减少了相关环境中的重复实现，并使任务变体的构建和维护更加容易。
DexVerse基于Isaac Lab的基于管理器的环境接口构建，其中观察、动作、事件、终止和可选的奖励项通过配置类指定，并由共享仿真循环执行。大多数环境参数可通过配置覆盖进行调整，从而实现对初始化范围、相机设置、随机化选项或成功阈值的受控更改，而无需修改核心环境代码。对于机器人形态，DexVerse还提供了一个紧凑的规范来选择手臂-手组合，简化了可行形态变体的实例化。
机器人形态
DexVerse通过机器人配置指定每种机器人形态，该配置定义了手臂和手模型、初始位姿、动作接口、控制器参数以及形态特定常数。只要机器人实现了所需接口，它就可以在任务中实例化，而无需重写任务特定的环境逻辑。对于物理上可行的任务-形态组合，用户可以覆盖默认的机器人选择，例如将单臂设置替换为双臂设置或切换到不同的手臂-手对。
当前基准支持3种机器人手臂（Franka Research 3、UR10e和xArm 7）和6种灵巧手（Sharpa Wave、WUJI Hand、Shadow Hand、Inspire Hand、Allegro Hand和LEAP Hand），涵盖了不同的运动学、自由度、关节限位、驱动范围和手部形态。每只手还有一个浮动变体，其中腕部直接由棱柱关节和旋转关节控制。
视觉变化
DexVerse提供可配置的视觉变化作为其环境规范的一部分。当禁用视觉随机化时，每个环境使用固定的默认外观。启用后，视觉属性在重置时从预定义库中采样，包括物体材质、桌面材质、光照条件、背景天空盒、曝光和色温设置。DexVerse还支持相机视角变化，允许同一任务在不同的观察条件下呈现，同时保留任务目标和成功条件。
除了视觉变化，DexVerse还支持非视觉变化，包括物体初始位姿、任务采样范围、本体感觉和物体状态扰动、以及动力学参数。视觉和非视觉变化可以独立或联合启用，使外观变化明确，同时保留操作任务的标准环境可变性。
数据集与评估
该流水线旨在减少适配新手臂-手平台时的形态特定更改。添加新的机器人手臂通常需要更新末端执行器坐标系、初始位姿和低级控制器参数，而添加灵巧手则需配置手部URDF，包含必要的关键点、对应链接和重定向比例。
数据集统计。 DexVerse为大多数任务套件提供遥操作演示。对于56个单目标任务中的每一个，我们收集55个演示：50个使用Shadow Hand，另外5个手形态各一个。对于5个长时域任务中的每一个，我们收集20个演示。总计3,180条演示轨迹。
每个演示存储为在遥操作期间记录的动作-状态对序列。我们提供重放工具，恢复记录的仿真器状态，并在本地查询环境以重新生成所需的观察项。这一设计很重要，因为物理仿真可能因机器间的物理计算、硬件和浮点舍入差异而发散。直接状态重放避免了累积的展开漂移，并使演示在本地环境中更具可移植性。
动作-状态格式也保证了数据集的紧凑性。重放机制使得修改观察预设、添加观察项或更改基于相机的输入更加灵活，无需单独的演示数据集副本。
多目标复合任务
当以下两个条件同时成立时，环境被视为成功： - 附加物体被提升到高于其重置高度至少指定阈值，无论它最初来自哪个附加任务。 - 主要任务的关节也达到其自身单任务成功阈值任务特定阈值。
当主要物体是杯子时，也适用相同的提升-倾倒过程。两个条件必须同时满足，任务才算成功。提升阈值是所有39个变体共享的单一固定值，而任务特定阈值与每个主要任务的独立阈值相同。
观察模式预设
虽然用户可以自由选择要使用的观察组，但DexVerse也定义了一些观察模式预设，每个预设启用一组固定的组并禁用所有其他管理组。预设通过配置字段应用于环境的ObservationsCfg。特权组永远不会被任何预设启用，因为它包含的信息在现实世界中难以观察，只应由用户有意启用。
结论
我们提出了DexVerse，一个用于多任务、多形态灵巧操作的模块化基准，它统一了多样化的任务类别、多种手臂-手形态、可配置的视觉变化、VR遥操作、多模态演示和代表性策略评估。我们的实验表明，当前的模仿学习和视觉-语言-动作策略仍然远未解决通用的灵巧操作问题，特别是在精确接触、双臂协调、功能性工具使用以及与复杂物体的鲁棒交互方面。这些发现使DexVerse成为研究接触丰富的灵巧控制、视觉运动鲁棒性和形态感知机器人学习的一个具有挑战性且可扩展的测试平台。
局限性与未来工作。 当前版本专注于构建一个广泛、可重复、多任务多形态的基准。未来的扩展将研究真实机器人迁移，跨更多形态和任务族扩展演示，并为跨任务和跨形态评估提供更广泛的标准化。这些方向将进一步强化DexVerse作为开发通用、鲁棒和可迁移灵巧操作策略的基础。
常见问题
DexVerse支持哪些机器人手臂和手？ DexVerse支持3种机器人手臂（Franka Research 3、UR10e、xArm 7）和6种灵巧手（Sharpa Wave、WUJI Hand、Shadow Hand、Inspire Hand、Allegro Hand、LEAP Hand），每只手还提供浮动变体。
基准包含多少条演示轨迹？ 数据集共包含3,180条演示轨迹——每个单目标任务55条（50条用Shadow Hand，其他手各1条），每个长时域任务20条。
演示如何存储以避免仿真漂移？ 每个演示存储为动作-状态对序列，重放工具恢复记录的仿真器状态以在本地重新生成观察项，从而避免跨机器累积展开漂移。
有哪些视觉随机化选项？ DexVerse支持可配置的物体材质、桌面材质、光照条件、背景天空盒、曝光、色温设置和相机视角变化，所有选项均可独立或与非视觉变化联合调整。