无需重新训练机器人的流式策略调整方法

无需重新训练机器人的流式策略调整方法

Luzhe Sun, Jingtian Ji, Haoran Chen, Jiawei Zhou, Matthew R. Walter

1 分钟阅读•2026年6月7日

在仿真和真实机器人实验中,专家演示均使用脚本策略收集,但Charger Plug任务除外,该任务的演示由外部训练的强化学习策略生成。为了获得次优但可复现的智能体,我们使用两种基础策略。

实验设置

在仿真和真实机器人中,专家演示使用脚本策略收集,但Charger Plug任务的演示由外部训练的强化学习策略生成。为了获得次优但可复现的智能体,我们使用两种基础策略。

结果分析

总体而言,基于流的动作适应方法在多种智能体和环境中提供了稳健的改进。在16个任务-包装器设置中,我们的变体在13个案例中取得了最佳成功率,并在其他案例中保持竞争力,表明动作级别的适应对于延迟、噪声、缓慢和偏差的智能体行为均有效。

具体而言,仅FPAS就在大多数设置中比原始智能体带来了显著提升,并且与强基线相比具有竞争力,突出了基于流的异常检测本身的有效性:即使没有额外的生成式修正,它也能为识别和修正问题动作提供有用的信号。与FPAS相比,FEEG在多个具有挑战性的设置中带来了额外提升,尤其是在高维操纵任务(如Can和Charger)中,最大改进超过一个较大的性能改进。这些结果表明,当成功适应需要动作块内的协调变化时,流引导的动作编辑可以产生比局部采样更有效的修正。

不同基于流适应变体在随机包装器智能体仿真任务上的成功率对比

当智能体动作形成一个可可靠建模的源分布时,IFAE显示出最明显的优势。在随机包装器实验中,IFAE在多种设置中达到最佳或接近最佳性能。这些增益表明,当包装后的智能体仍保持连贯的动作流形,且所需修正可表达为分布级传输时,源到专家的流编辑是有效的。然而,在某些设置下,智能体动作难以被学习的源流捕获时,IFAE的可靠性较低。在这些情况下,FEEG通常更强,因为它主要依赖专家流和邻近项,而不需要精确建模损坏的源分布。

此外,异常检测为选择性干预提供了一种高效机制。基于流的方法并非修正每个提议块,而是仅在异常分数指示该块位于专家分布之外时才应用修正。这降低了推理成本,同时避免扰动已经有效的动作,并且使用相同的专家流进行异常检测和修正。

结论

我们提出了一系列基于流的动作适应方法,可以在不更新底层智能体的情况下改进次优智能体动作。利用有限的专家演示,该方法支持策略适应和共享自主性,并使用学习到的专家流进行选择性异常门控干预。在仿真和真实机器人上的实验表明,该方法对随机包装器模仿学习和VLA智能体均有持续改进。

局限性

我们的实验表明FEEG和IFAE提供了互补的适应行为,但决定哪种变体最适合特定任务的因素仍有待更系统地研究。未来工作应进一步分析编辑超参数和任务属性(如接触丰富性、精度要求和组合结构)的影响。更广泛的消融和自动变体选择可能进一步提高基于流动作适应的鲁棒性。

常见问题

基于流的策略适应的主要创新是什么? 它在推理时改进次优智能体动作,无需重新训练或微调底层策略,仅使用在专家演示上训练的流模型。

选择性异常门控干预在此框架中如何工作? 该方法仅在异常分数指示智能体动作块位于专家分布之外时应用修正,从而降低计算成本并保留已有效的动作。

FEEG和IFAE变体的主要区别是什么? FEEG仅使用专家流和邻近项进行修正,而IFAE建模源到专家的分布传输,且在智能体动作流形保持连贯时效果最佳。

基于流的动作适应在哪些类型的任务中改进最大? 该方法在高维操纵任务(如Can和Charger)中提供最大增益,这些任务需要动作块内的协调变化才能成功适应。