QF3 使用离策略强化学习训练基于流模型的机器人策略，并通过评论器改进动作，同时筛除那些会使动作维度偏离可靠经验过远的梯度更新。在文中报告的设置中，QF3 与高吞吐训练方案结合，从零开始学习人形机器人运动和动作跟踪，并将策略直接迁移至硬件，无需额外调优；按墙钟时间计算，其训练速度比 FPO++ 快 10 倍。
目录
研究人员开发了什么？
QF3 是一种强化学习算法，用于训练通过流模型生成动作的机器人策略。流策略是一种根据示范生成复杂行为的方法：策略不是通过单次直接计算来选择动作，而是学习一个将初始输入转化为动作的过程。随后，强化学习可以通过与环境交互来改进这些行为。
该算法将流匹配——一种训练动作生成过程的方法——与评论器引导相结合。评论器会估计某个动作对完成任务有多大帮助。QF3 利用评论器的动作梯度来引导策略更新；该梯度反映了改变动作可能如何提升其估计价值。
其关键设计在于有选择地应用这种引导。对于偏离回放数据中的动作过远的动作维度，QF3 会筛除相应的评论器梯度更新。回放数据包含此前收集的经验，因此离策略算法可以重复利用这些数据，而不必只根据最新交互进行学习。
研究人员在两种设置中测试了 QF3：从零开始学习人形机器人运动和动作跟踪，以及微调已经预训练的基于流模型的操作策略。因此，QF3 既适用于通过强化学习构建行为，也适用于改进从示范中学到的行为。
QF3 取得了什么结果？
摘要报告了三项主要结果。第一，QF3 使用离策略强化学习，从零开始训练人形机器人运动和动作跟踪策略，随后将这些策略零样本迁移至硬件——也就是说，迁移过程中没有针对硬件进行额外的策略训练。研究人员称，这是首个在人形机器人运动任务中实现这一组合的离策略流强化学习方法。
第二，QF3 与高吞吐训练方案结合后，按墙钟时间计算，其速度比近期的在线策略流强化学习方法 FPO++ 快 10×。墙钟时间衡量的是实际经过的训练时间，而不只是环境交互次数。摘要将这一提速归因于 QF3 与训练方案的共同作用，因此并未说明增益中有多少单独来自算法。
第三，研究团队使用 QF3 微调了预训练的基于流模型的操作策略，任务来自 ABC-Sim 和 Robomimic。这表明该方法不仅能从零开始学习人形运动，也能用于其他场景，不过摘要没有提供这些操作实验逐项的分数或比较结果。
| 报告的评估 | 对比对象 | 报告结果 |
|---|---|---|
| 人形机器人运动与动作跟踪训练 | QF3 搭配高吞吐方案 vs. FPO++ | 按墙钟时间计算快 10× |
| 人形机器人策略迁移 | 从训练环境迁移至硬件 | 报告了零样本迁移 |
| 预训练流策略优化 | ABC-Sim 和 Robomimic 中的操作任务 | 展示了微调；摘要未提供数值分数 |
这些结果令人鼓舞，但现有摘要未提供绝对训练时间、硬件详情、任务分数或统计比较。
QF3 如何运作？
QF3 结合了流策略、评论器和回放缓冲区。流策略通过学习到的变换生成机器人动作。流匹配训练这一变换，使其生成符合策略训练数据的动作。在机器人应用中，动作可能包含多个控制量，例如不同关节的指令，因此一个动作包含多个维度。
评论器会结合当前状态评估动作。它的动作梯度估计对动作作出哪些微小调整可能改善评论器预测的结果。QF3 将这一梯度反向传播 through 流模型输出的一步预测，并利用所得结果引导策略学习。简单来说，评论器提供改进方向，策略则在学习动作生成过程时利用这一信号。
这种引导并非不加区分地应用。QF3 会检查动作维度是否仍接近相应的回放动作，并筛除偏离过远的维度上的评论器梯度。回放动作来自过去的经验。保持接近这些动作，旨在让更新处于评论器评估和流模型一步预测更可靠的范围内。这一点很重要，因为当评论器需要评估与其见过的动作差异较大的动作时，其可靠性可能会降低。
离策略设置使训练能够重复利用回放经验，而不是只依赖新收集的交互数据。摘要还强调了高吞吐训练方案，但没有描述其硬件、环境并行方式或实现细节。因此，报告中的速度对比针对的是组合设置，并非对各组成部分的独立测量。
QF3 对机器人技术有何意义？
通过反复试错训练机器人可能代价高昂：真实机器的运行时间有限，每次新训练也可能需要设置、监督，或在失败后进行恢复。重复利用过去的经验可以提高训练效率，而筛选评论器引导则旨在避免依据不可靠的动作建议更新策略。这些特点共同针对一个实际挑战：在减少交互和计算浪费的同时改进行为。
人形机器人实验的意义在于，它既包括从零开始学习运动，也包括将学到的策略迁移至硬件。零样本迁移并不意味着某个策略适用于所有机器人或所有场景，但它表明，摘要所述的硬件迁移过程无需额外的策略训练。
QF3 还面向另一种工作流程：改进已经通过示范学到行为的策略。微调预训练的操作策略或许能帮助团队将现有行为适配到新任务或新环境，不过摘要并未说明具体能实现哪些变化，也未说明改进幅度。
对于正在评估运动研究平台的团队，可以在 Robot Overflow 浏览人形机器人。更广泛来看，这项研究正在测试一种强化学习方法能否同时用于学习新行为和优化示范行为。
QF3 有哪些局限和未解问题？
现有来源仅为摘要，因此无法评估一些重要细节。摘要没有指出人形机器人硬件型号，没有列出运动或动作跟踪任务，也没有报告绝对训练时间、成功率或基准分数。它也未提供样本数量、变异性估计或消融实验结果，因此无法区分筛选梯度和高吞吐训练方案各自的贡献。
文中报告的 10× 提速，特指相应设置下相较于 FPO++ 的墙钟时间优势。由于缺少硬件、实现、调参和评估条件等细节，不应将其视为相较其他训练方法的普遍速度优势。
筛选规则也带来实际问题：如何定义“接近”、有多少动作维度会被筛除，以及筛选方式是否会因任务而异。最后，摘要报告了零样本迁移，但并未证明该方法在不同机器人、环境或更长时间的部署中具有鲁棒性。
常见问题
什么是 QF3？ QF3 是一种离策略强化学习算法，使用流匹配和经过筛选的评论器梯度来训练基于流模型的机器人策略。
“经过筛选的 Q 梯度”是什么意思？ QF3 仅在动作维度仍接近回放经验中的动作时应用评论器引导，并筛除偏离过远的更新。
这里的零样本硬件迁移是什么意思？ 这表示摘要报告的人形机器人策略迁移至硬件时，没有进行额外的策略训练。
研究人员测试了哪些任务？ 摘要报告了从零开始的人形机器人运动和动作跟踪，以及在 ABC-Sim 和 Robomimic 任务上微调预训练的操作策略。
QF3 将可重复利用的经验与选择性评论器引导相结合，用于训练基于流模型的机器人策略。摘要报告了人形机器人硬件迁移；当 QF3 搭配高吞吐训练方案时，按墙钟时间计算，训练速度比 FPO++ 快 10×。