质量感知预训练有助于视觉-语言-动作（VLA）机器人从不完美示范中学习，但如何使用质量标签最有效，取决于模型和训练阶段。在三种 VLA 策略中，方法感知的整段示范条件化在平均成功率上优于普通行为克隆；在真实世界测试中，仿真预训练将成功率从 9.6% 提升至 31.7%，质量条件化则达到 32.5%。
目录
研究人员构建了什么？
研究人员构建了 AXIS-Bench，这是一个用于测试机器人策略如何从不同质量的示范中学习的基准。示范中可能既有有效动作，也有犹豫、绕路或其他对任务进展帮助不大的动作。基准不会将记录下来的每个动作都视为同等有价值，而是根据记录的物体和机器人状态计算质量分数，再测试在预训练中使用这些分数的不同方法。
AXIS-Bench 旨在确保比较条件受控：各方法使用相同的示范和标准化的训练、评估流程，并在每种 VLA 内匹配数据量和训练预算。它比较三种策略。加权会改变每个样本对训练的贡献大小；筛选会移除得分较低的样本；条件化则将质量标签作为输入提供给策略。基准还比较两种标签粒度：附加在短动作片段上的标签，以及附加在完整示范（即整个 episode）上的标签。
为进行真实世界验证，基准提供了一套流程，用于将仿真中的相机视角和桌面场景与物理工作空间对齐。在保留记录的动作和物体状态的同时，重新渲染观测，使其匹配目标设置。这样，研究人员便能先用仿真轨迹进行预训练，再用真实示范微调，最后在物理任务上评估所得策略。
关键结果是什么？
仿真研究的主要发现是，在全部三种受测 VLA 策略中，方法感知的整段示范条件化都提升了平均任务成功率，优于普通行为克隆。不过，最佳设置并不通用：条件化通常更适合整段示范级标签，而筛选通常更适合动作片段级标签。具体偏好可能因模型和质量定义而逆转。对于受测模型，方法感知的动作片段加权也比行为克隆提高了平均成功率，其中两个模型分别提升了 0.67 和 0.50 个百分点。
在真实世界研究中，仿真预训练将成功率从仅微调对照组的 9.6% 提升至普通行为克隆预训练的 31.7%。质量感知条件化达到 32.5%。相较于普通行为克隆，最后这项提升幅度不大；此外，条件化提升了部分任务的结果，却降低了其他任务的结果。
| 真实世界配置 | 成功率 | 测试内容 |
|---|---|---|
| 仅微调 | 9.6% | 使用真实示范，不进行 AXIS 仿真预训练 |
| 普通行为克隆预训练 | 31.7% | 仿真预训练后进行普通微调 |
| 方法感知的整段示范条件化 | 32.5% | 质量条件化仿真预训练与带标签微调 |
真实世界评估涵盖十项操作任务，每项任务进行了 24 次试验。与仅微调相比，普通预训练在十项任务中的九项提升了成功率。这些结果表明，在该设置中，仿真预训练带来了显著收益，同时也显示质量条件化带来的额外提升较小。
质量感知预训练如何运作？
该方法从包含随时间记录状态的示范开始。研究人员根据任务进展情况为示范评分：推动任务向前的样本会获得不同于进展较少动作的分数。分数可以按短动作片段计算，也可以按整个 episode 计算。这一区别很重要，因为短暂停顿或绕路在局部看来可能没有帮助，但它可能出现在最终成功的示范中。
相同的底层质量信息可以通过三种方式用于训练。采用加权时，得分较高的样本对学习损失影响更大。采用筛选时，质量较低的样本会被移除；基准中的最高质量筛选会保留预处理后训练时间步的一半。采用条件化时，质量标签会与策略的常规输入一同提供，使策略能够学习与不同质量等级相关的行为。
实验还区分了方法感知质量和以物体为中心的质量。结果表明，质量定义的选择会改变哪种标签粒度效果最佳；论文没有指出一种适用于所有策略的固定最佳组合。在真实世界验证中，研究人员先用 19,250 条仿真示范进行预训练，再针对十项任务中的每一项，使用 25 条真实示范进行微调。条件化采用 episode 分数五分位数；无法评分的示范则使用中性标签。在目标任务微调期间，在受测条件化设置中，保持质量标签恒定比普通微调获得了更高的平均成功率。
这对机器人技术为何重要？
机器人学习通常依赖人类录制的示范，而真实示范很少完全高效。人可能会犹豫、调整抓取姿势或绕路。如果训练流程将每个记录下来的动作都视为同样有用，这些差异就可能让策略更难学到关键要点。该基准测试了如何实际利用这类不完美数据，而不是假设所有示范质量相同。
这些结果也提醒团队，在选择训练方案时应保持审慎：质量标签并不是只需插入流程、就能在所有设置下带来最佳效果的升级。方法、标签粒度、基础策略和目标任务微调流程会相互影响。团队可能需要在自己的任务上评估完整工作流程，而不是依据另一个模型的结果来选择筛选或条件化。
工作空间对齐流程对探索物理操作仿真预训练的团队也有参考价值。研究人员报告称，配置其参考工作空间约需 30 分钟，之后便可重新渲染记录的轨迹用于预训练。这是一个令人鼓舞的实践起点，但并不能证明在其他机器人和工作空间中，对齐同样快速或有效。计划开展硬件试验的团队也可以通过二手机器人出售比较不同平台。
有哪些局限和待解问题？
该基准采用统一的桌面仿真环境，物理世界验证则仅涵盖一个参考工作空间和一种 VLA 配置。尽管仿真预训练相较于不进行预训练带来了大幅提升，真实世界测试中，普通行为克隆预训练与质量感知条件化之间的差异仍然很小。要确定这些发现能否广泛迁移，还需要测试更多工作空间、机器人本体和更大的预训练预算。
基于进展的分数只能反映示范质量的一个方面。有效的准备步骤或恢复动作可能不会立即推动任务进展，因此得分偏低。该研究也没有厘清不同基础策略为何反应不同：它们的初始化和可训练模块各不相同。后续测试可以探究条件化是否因保留了更广泛的数据覆盖而有帮助，以及基于偏好或任务子步骤的质量信号是否能改善结果。
团队常会询问哪些质量感知预训练问题？
质量感知预训练能胜过普通行为克隆吗？ 在三种受测 VLA 策略中，方法感知的整段示范条件化提升了平均成功率，优于普通行为克隆。实际收益取决于模型和训练配置。
质量标签应描述动作片段，还是完整示范？ 平均而言，条件化更适合整段示范级标签，而筛选更适合动作片段级标签。针对特定模型或质量定义，这一偏好可能逆转。
仿真预训练对真实任务有帮助吗？ 有。在该设置中，与未进行仿真预训练相比，普通行为克隆预训练将成功率从 9.6% 提升至 31.7%。
条件化能保证每项任务的结果都更好吗？ 不能。真实世界条件化设置的总体成功率达到 32.5%，但与普通行为克隆相比，五项任务有所提升，四项有所下降，另有一项持平。
机器人团队应得出什么结论？
AXIS-Bench 表明，不完美示范仍可支持有效的机器人预训练；在受测设置中，仿真预训练显著提升了真实世界成功率。质量标签带来的额外收益较小，且取决于具体配置，因此团队应在自己的策略和任务上比较不同训练选择。
哪种质量信号最适合用于你的机器人示范？