引言
需要特别强调的是，这些内层策略用于辅助数据采集，并不是最终自主控制器的组成部分。随后，研究人员利用采集到的示范训练一个独立的外层视觉运动策略，在部署时同时控制机械臂和灵巧手。为降低这一高维动作空间的学习难度，手部动作变分自编码器（H-VAE）在保留机械臂关节空间指令的同时，为手部提供紧凑的目标表示。研究团队从示范采集、自主策略学习，到在线执行、接触行为以及跨任务复用手部技能，全面评估了这套从采集到自主执行的流程。
具体而言，技术贡献包括：
- 副驾驶辅助的灵巧示范采集。 可逆离合器允许操作员在控制机械臂的同时，调节由状态决定的手部技能；自动技能选择则支持在不同任务阶段复用不同的手部行为。
- 嵌套式采集与自主部署。 由视觉语言模型动态分配的已学习内层手部策略，辅助完成整项任务的示范采集；随后，独立的外层视觉运动策略从这些示范中学习，并在部署时自主执行。
- 面向真实世界的从采集到自主执行评估。 围绕六项灵巧操作任务，研究评估了示范的可靠性与效率、下游自主策略学习，以及紧凑手部动作表示和在线接触感知执行的影响。
NestDex：嵌套式灵巧策略
NestDex 将辅助示范采集与自主任务执行分离开来。重新映射后的手部技能示范用于训练基于本体感觉的内层策略，辅助完成整项任务的遥操作。随后，一个用于手部姿态的变分自编码器（VAE）——称为 H-VAE——对采集到的手部指令进行编码，用于训练外层视觉运动策略，由后者控制完整任务。
实现
实验采用主从式平台。每个主端都配有机械臂和离合器，每个从端则配有机械臂、灵巧手和腕部摄像头。主端机械臂的关节位置会直接映射为从端机械臂的控制指令。主端离合器负责调节从端手部内层策略的执行，并且每组机械臂与灵巧手会独立执行自己的内层策略。
可靠高效的示范采集
研究人员在六项灵巧操作任务上，将 NestDex 与 AnyTeleop 进行了比较；每种系统在每项任务中均采集二十条示范。研究依据预先定义的指标，报告了成功率和每条成功示范所需的时间。“N/A”表示未获得成功示范。
同一名操作员在熟悉两种界面后完成了两组实验。每次尝试之间，物体都会被恢复到相同的标称初始配置。
从副驾驶辅助走向自主执行
在所有评估任务中，使用副驾驶辅助采集的示范训练出的外层策略都取得了有效的成功率，证明这类示范对下游策略学习具有实用价值。
在直接使用手部动作的设置下，对于两种数据源都能提供训练数据的每项任务，使用副驾驶辅助示范训练的策略均优于使用 AnyTeleop 示范训练的策略。对于 Tongs Transfer，AnyTeleop 无法提供用于外层策略训练的成功示范，而副驾驶辅助采集的示范则支持自主完成任务。
在线执行与接触行为
研究人员在三种执行条件下，测试了同一个内层策略抓取水瓶的表现：
- 固定指令回放： 重复一次成功执行中保存的关节指令轨迹。
- 闭环、不使用集成： 根据最新的本体感觉历史向策略发起查询，但每个新动作片段只执行其中的第一步动作。
- 闭环、使用时间集成： 对来自同一策略、彼此重叠的预测结果进行时间平均。
为确保比较公平，每种条件均取前十次获得裁定结果的试验，总计三十次。
跨任务阶段的技能选择与复用
研究人员对 Toast Preparation 和 Binder Filing 的代表性示范中的内层策略选择进行了定性分析。
在两项任务中，所选技能都会随当前阶段变化，并在需要时重新激活此前使用过的技能。Toast Preparation 依次选择 Tongs Grasp、Button Press 和 Plate Grasp，随后回到 Tongs Grasp。Binder Filing 在 Hole-Punch Press 之后回到 Paper Pinch，然后选择 Binder Closure。
这些序列表明，技能选择器能够在不同任务阶段复用一组精简的手部技能。
常见问题
NestDex 中内层策略的作用是什么？ 内层策略用于辅助示范采集，并不是最终自主控制器的组成部分。
外层视觉运动策略控制什么？ 部署期间，外层策略控制完整任务，包括机器人机械臂和灵巧手。
H-VAE 如何支持策略学习？ H-VAE 将采集到的手部指令编码为紧凑的手部目标，而机械臂指令仍直接保留在关节空间中。
手部技能如何在不同任务阶段复用？ 自动技能选择会根据当前任务阶段进行匹配，并在需要时重新激活此前使用过的技能。