硬件设计
记录的信号
采集数据时，Quest 2 控制器提供手腕的 6-DoF 轨迹，并据此构建末端执行器运动目标。鱼眼相机捕捉手与物体的交互以及周围的任务环境，而手部控制器则记录指令 20-DoF 关节目标和实际关节状态。因此，每条示范都包含实际发送给灵巧手的动作，而非根据测量状态推断出的动作，满足动作数据要求。刚性连接使控制器与灵巧手、相机与灵巧手之间的变换保持固定，因此跟踪到的运动和视觉观测始终基于同一手部坐标系表达。
人体工学设计
整套手持组件的重量为提供的文本未注明总重量 kg，其中非手部硬件的重量为提供的文本未注明非手部硬件重量 kg。为了承托这一重量，同时让拇指和食指能够自由操作控制器，Quest 2 的电池盖被延伸为采集手柄，将控制器连接到可移装模块。操作员手背上的绑带承担部分重量，从而减少持续握持所需的力量。
初版设计将控制器放在机器人手的后方，使操作员的握持位置偏离组件的质心，形成较长的力臂。最终设计将控制器置于灵巧手上方，使握持位置靠近质心。这样可以缩短力臂，减小操作员需要抵消的腕部扭矩。
通过参数化技能实现灵巧控制
通过技能进行控制，是操作高维机器人系统的一种有效方式。例如，可以通过设定期望速度来控制人形机器人，而不必指定每个关节的运动。灵巧手也采用了同一原则，将操作员的意图与实现该意图所需的手指动作分离。系统设计了一组精简技能，可用于广泛的灵巧操作任务。技能接口采用参数化而非离散式设计，从而支持更整体的控制。例如，用户可以使用操纵杆逐步收紧或张开抓握来控制抓握力度，而不是切换到某一种固定抓握方式。
这些技能让灵巧手的全部 20 个关节在采集过程中都能发挥作用，同时无需操作员逐一控制每个关节，满足了区分灵巧操作接口与简单夹爪的自由度要求。该接口使用 Meta Quest 2 控制器，配备两个按钮、两个连续触发器和一个双轴操纵杆。操作员可通过这些输入选择并调节技能。
拇指控制
操纵杆的两个轴分别控制拇指屈曲与伸展、外展与内收，遵循 HATO。这使操作员能够根据不同的抓握形态独立调整拇指位置。
力抓取
操纵杆的一个轴控制四根非拇指手指协调闭合。推动操纵杆可逐步放松或收紧抓握；松开操纵杆后，灵巧手会保持当前目标。与连续触发器控制不同，这种持续有效的指令无需操作员在整个抓握过程中一直施力。它主要用于让灵巧手包覆较大的物体。
捏取
同一渐进式指令仅控制食指，使其与独立定位的拇指相对闭合。这项技能适用于小物体，以及需要精确指尖接触的抓握。
双指抓取
食指和中指同步张开或闭合，同时其余手指保持各自的目标位置。这项技能适用于多阶段动作，例如抓取多个物体，以及使用双指抓取并拉动，无需操作员分别协调两根手指。
手内旋转
按下按钮即可调用一个学习得到的闭环策略，由其生成反复的手指步态动作，以便在手中旋转已抓取的工具。策略控制手指，操作员则继续控制灵巧手的整体运动。
学习手内旋转技能
手内旋转技能通过仿真学习得到。这样可以免去操作员执行困难的低层级手内操作，尤其是在缺少手指级触觉反馈时。闭环拧螺丝策略使用 Isaac Lab 中的 PPO 在仿真环境里训练。
该任务被建模为在转动关节上旋转圆柱形手柄。在现实环境中，操作员可以调整手腕；但仿真环境经过简化，将灵巧手基座固定，仅由策略控制手指。策略在 12 个可驱动关节上学习增量动作，环指和小指则固定不动。策略以三个时间步的历史信息作为观测，其中包括测得的关节位置、指令目标和前一时刻的动作。训练时还使用了一个可访问手柄旋转角度的特权评论器。
实验
评估围绕三个研究问题展开：
- Q1： DexPort 记录的手部指令能否支持训练出可在多种灵巧操作任务中成功执行的策略？
- Q2： 与在非结构化环境中采集的示范数据联合训练，能否提升策略对未见物体和杂乱场景的鲁棒性？
- Q3： DexPort 的数据采集效率与遥操作及人手示范相比如何？
实验设置
机器人平台
策略部署在 Tianji Marvin 上。这是一台配备两条 7-DoF 手臂的双臂机器人。采集时使用的手部—相机模块直接安装在机器人腕部，因此采集和部署时的手部具身形式以及相机相对于手部的外参完全一致。手部目标无需重新映射；部署时唯一需要的修正，是固定的控制器到末端执行器变换。
系统的模块化能力通过不同灵巧手得到展示：蔬菜抓取放置和拧螺丝任务使用 Wuji 1 手，抽屉收纳和双手条码扫描任务使用 Wuji 2 手。
任务
四项任务分别评估不同类型的灵巧操作能力：
- 蔬菜抓取放置： 机器人依次抓取两种蔬菜并将其放入盘中。物体的大小和形状各不相同，策略需在没有明确抓握标签的情况下选择捏取或力抓取。
- 拧螺丝： 机器人在保持稳定抓握的同时，在手中旋转螺丝刀，用于测试持续接触能力和反复手指步态动作。
- 抽屉收纳： 机器人在不松开已抓取物体的情况下，用同一只手打开抽屉、将物体放入其中，再关上抽屉。该任务将物体保持与可动部件操作结合起来。
- 双手条码扫描： 一只手抓取并呈示物体，另一只手则定位并操作条码扫描器。任务成功需要双手协调移动物体和扫描器。
观测
策略观测来自手部—相机模块的鱼眼画面。在抽屉收纳任务中，由于被抓取的物体会在拉开抽屉时遮挡大部分场景，因此额外加入一台第三人称视角相机。录制画面中偶尔会出现操作员，且未进行任何后处理。
数据集
四项任务共采集 1,605 条实验室示范数据：蔬菜抓取放置 700 条、螺丝刀操作 200 条、抽屉收纳 380 条、双手条码扫描 325 条。此外，还在非结构化的公寓和办公室环境中采集了 1,000 条抓取放置示范数据。联合训练的策略同时使用实验室数据集和真实环境抓取放置数据集。
训练变体与基线
为回答 Q1，将使用 DexPort 记录的手部指令目标训练的策略，与将测得的手部状态作为动作标签的状态即动作基线进行比较。为回答 Q2，将仅使用实验室数据训练的抓取放置策略与两种联合训练变体进行比较。为回答 Q3，则比较 DexPort、遥操作和人手示范在 30 分钟内采集的轨迹数量。
评估流程
每个策略在每项任务或评估条件下进行 15 个回合的评估。对于蔬菜抓取放置，测试涵盖已见物体、未见物体以及有干扰物的场景。部分成功表示放置了两个物体中的一个；完全成功表示两个物体都已放置。抽屉收纳和双手扫描的结果报告任务各阶段的完成情况。螺丝刀操作的评估指标为平均保持时长（秒）和每分钟旋转次数。
跨灵巧操作任务的策略学习（Q1）
模仿学习实验涵盖全部四项任务。基于 DexPort 示范训练的策略学会了目标行为：在没有抓握标签的情况下选择捏取或力抓取；用同一只手拉开抽屉的同时保持物体；通过手指步态在手中旋转螺丝刀；以及协调双臂将物体呈示给扫描器。
数据采集效率（Q3）
在单臂抓取放置任务中连续操作 30 分钟，以采集的轨迹数量衡量数据采集效率，并比较 DexPort、徒手人类示范和遥操作。对于手套遥操作，操作员使用 Wuji Glove 进行手部跟踪，并使用 VR 控制器控制末端执行器。对于技能遥操作，操作员使用 VR 控制器控制末端执行器，并使用与 DexPort 相同的手部技能。每种数据采集方式均由具备专家水平的操作员执行。
结论
局限性
尽管采用了人体工学设计，设备重量仍限制了连续使用时长，也影响需要频繁旋转的动作。灵巧手本身的重量是主要瓶颈，因此未来开发更轻、更小的灵巧手硬件或许能缓解这一问题。此外，当前技能仅覆盖灵巧行为空间的一部分。未来工作可探索加入更多在仿真中学习的技能，例如其他手内操作技能、学习得到的抓握方式等。
致谢
作者感谢 Keyshawn King 和 Volodymyr Behma 在数据采集和支持方面的贡献，并感谢 Andrew Wright 设计了初期硬件。他们还感谢 Tingfan Wu、Anas Houssaini、Jensen Gao 和 FAR 团队提供反馈与支持。
硬件与数据采集
硬件
手部—相机模块由一只 Wuji 灵巧手和一块配备 200° 鱼眼镜头的 USB 板载相机组成。在 Wuji 1 上，手部目标会经过 5 Hz 低通滤波器，并由灵巧手固件以 1 kHz 进行插值；每个关节的扭矩上限为 0.5 N·m。
记录与同步
单个记录循环以 30 Hz 运行。相机、灵巧手和 Quest 控制器分别通过后台线程读取。由于采集和部署期间相机与灵巧手使用相同的 30 Hz 循环，因此预计两种情况下的延迟大致相同。因此，系统没有像 UMI 那样测量各数据流的延迟或在后处理中进行时间对齐。部署时，异步推理会丢弃时间已经过去的动作。
部署
控制
策略以 30 Hz 运行，与采集频率一致。按照 HATO 的做法，推理采用异步方式：每个新的 16-step 区块会与获取对应观测时的控制时刻对齐，保留前 8 步，丢弃时间已经过去的步，并在每个控制时刻对覆盖该时刻的所有区块中的手部和手腕指令取平均值。每个区块使用 10 DDIM 步进行采样。预测的手腕运动会通过安装变换转换为法兰目标，再使用 PyRoki 中的 Levenberg–Marquardt 逆运动学求解 7-DoF 手臂的运动。
常见问题
DexPort 会在示范过程中记录什么？ 它会记录手腕的 6-DoF 轨迹、鱼眼相机观测、指令 20-DoF 关节目标以及实际手部关节状态。
DexPort 技能接口如何控制灵巧手？ 它使用 Quest 2 控制器输入来选择和调节参数化技能，包括拇指控制、力抓取、捏取、双指抓取和手内旋转。
DexPort 使用哪些任务进行评估？ 评估任务包括蔬菜抓取放置、拧螺丝、抽屉收纳和双手条码扫描。
作者指出了哪些局限性？ 设备重量限制了连续使用时长和需要频繁旋转的动作，当前技能也仅覆盖灵巧行为空间的一部分。