策略引导——通过调整动作采样过程，使策略输出朝向期望目标——为通用策略在新任务中利用合理的先验动作提供了途径，通过提升相关行为的重要性实现。引导可以使通用策略利用来自语义推理者（如人类和大型视觉语言模型 VLM）的知识。例如，当策略学习清理厨房台面的新任务时，“海绵用于擦拭污渍”这一知识可以引导策略抓取海绵，而不是尝试机器人在该场景中可能做的其他行为。
我们提出 Flow Reversal Steering (FRS)：一种新颖的方法，通过反向流策略将粗粒度参考动作映射到其噪声向量。去噪后，生成的动作既细粒度又符合通用策略的分布，同时与参考动作大致一致。即使仅提供机器人行为的粗略草图（例如，抓取目标物体所需的大致方向），FRS 也能将该行为投影到通用策略的先验中，生成类似的细粒度动作。
该机制对语义推理者（如 VLM）尤为有用，它们能大致推断合适的机器人行为，但无法将其落地为灵巧的低级动作。FRS 将生成机器人动作的责任转移给通用策略，而推理者只需专注于宏观的高层引导。由于 FRS 同时提供对应的噪声向量，它能够很好地与潜噪声策略结合，通过改变输入噪声的分布来引导流通用策略。这可以通过噪声空间的行为克隆 (BC) 实现快速高效的适应，并通过引导噪声空间的强化学习 (RL) 启动学习，对于直接在通用策略空间中探索困难的任务尤为有效。
实验设置
我们通过回答三个问题来评估 Flow Reversal Steering：FRS 能否在无需任何训练的情况下，通过让 VLM 引导通用策略执行语义上合理的行为来提升性能？能否利用 FRS 改进的轨迹快速学习新任务？FRS 能否帮助通用策略更高效地从经验中学习？
FRS 提升具有挑战性的操作任务的零样本性能
我们首先测试了使用 FRS 优化 VLM 语义引导是否能提升零样本性能。我们发现直接执行 VLM 动作效果不佳。这支持了直觉：VLM 难以零样本输出精确的低级动作，并表明 FRS 并非简单地重构 VLM 动作，而是利用它们引导 VLA 生成更好但语义相似的细粒度动作。部分噪声化和采样-排序方法性能不如 FRS，分别仅提升了 4 个和 3 个困难任务。这些基线方法在 VLA 对良好行为已有较高概率时效果较好，但在成功稀少的困难任务上表现不佳，而 FRS 仍能在此情况下学习。
FRS 通过行为克隆实现扩散引导
我们展示了 FRS 生成的良好轨迹如何产生专家噪声动作，并通过 Diffusion Steering via Behavior Cloning (DSBC) 进行蒸馏。我们重点介绍了在线 DSBC，并将离线 DSBC 的 LIBERO 结果放在附录中。
除了基础策略和零样本 VLM FRS 作为基线，我们还比较了在 FRS 成功轨迹上运行标准 BC（使用与 DSBC 噪声策略相同的小架构）。FRS 的成功 rollout 也可以蒸馏回完整的 VLA，但这样做比训练辅助策略需要更多计算。
DSBC 在样本、计算和时间上都很高效。在 LIBERO 中，每个任务平均仅需 18 次 rollout 即可训练。在真实机器人上，每个任务仅需 10 次 rollout 即可达到高性能。策略本身也很小——总共训练仅需约 1 GB 的 GPU 内存（因为训练时无需加载 VLA），而微调完整 VLA 需要数百 GB。由于模型和数据规模小，DSBC 策略的训练时间不到一分钟。
FRS 加速并改进强化学习
我们旨在展示 FRS 如何与 RL 结合从经验中学习。这使其能够超越零样本 FRS 的固定性能以及通过 DSBC 蒸馏 FRS 数据的能力。
讨论
我们提出了 Flow Reversal Steering (FRS)，一种通过反向流通用策略将粗粒度语义引导转化为精确动作的方法。通过使用最先进的 VLA 进行大量模拟和真实世界任务，我们展示了 FRS 如何使推理者（如人类和 VLM）能够引导策略在新任务中执行合理的行为。这通过我们的 Diffusion Steering via Behavior Cloning (DSBC) 方法或通过引导 DSRL 实现了快速策略学习。我们希望 FRS 提供一种替代范式来高效改进通用策略，其中学习不仅通过优化奖励函数引导，还利用任务相关的语义知识。
噪声空间洞察
执行流反向时，更可能的噪声（即接近 0 的噪声）往往映射到更符合分布的动作。流反向能更好地找到重构为更符合分布动作的噪声（更小的重构 MSE）。增加流反向的积分步数会提高重构精度（由于积分误差降低），但代价是噪声空间中的分布外程度增加。
FRS 找到噪声空间中的良好区域，且靠近良好噪声的噪声也映射到良好动作。动作块中填充元素对应的噪声对去噪影响不大。应用流反向时，动作块倾向于映射到时间相关的噪声块，其沿块轴的方差小于从标准正态分布采样时的方差。
运行 FRS 的注意事项
基于以上分析的关键 FRS 设计细节：沿块轴平均并重复噪声不影响性能。所有噪声策略都训练预测这种块平均噪声，因为这使学习更容易。平均并重复良好的参考动作本身仍能找到良好噪声，这激发了使用方向性动作进行引导。参考动作应正确设置其填充元素。一旦通过流反向计算出底层噪声，可以将填充噪声设为零而不影响性能。
运行流反向时，重构保真度与结果噪声的幅度之间存在负相关。增加积分步数提高保真度，但使噪声幅度更大（即更分布外）。我们倾向于使用较少步数，默认选择 10，因为这使策略推理更快，我们期望噪声更小以便于噪声策略学习，且极高的动作重构保真度并非总是有益，尤其是参考动作粗粒度时。
人类引导界面
在人类 FRS 实验中，操作员通过键盘控制机械臂：六个键（W/A/S/D/Q/E）控制三个平移笛卡尔轴（前/后、左/右、上/下），一个键改变夹爪状态，一个键退回到策略。旋转从不通过键盘控制。
夹爪键循环三种状态：打开、关闭或噪声。在打开/关闭模式下，夹爪维度被驱动到命令值并保持。在噪声模式下，夹爪交给策略：块中的夹爪元素保持当前值，其对应的噪声元素随机化，因此去噪动作可以根据观察自由打开或关闭。
将小的参考动作通过逆运动学转换为关节动作后，我们将其平铺直到达到策略块长度（15，例如将长度为 5 的关节角度块重复三次）。这就是通过流反向的内容。相应地，我们将块中平铺部分设为噪声，使其能够根据观察由策略去噪。这类似于扩散修复，但发生在噪声空间——我们期望被引导的动作匹配参考块的一部分，而其余部分由“策略认为合理的”内容填充。
常见问题
Flow Reversal Steering 与其他引导方法有何不同？ FRS 通过反向流策略将粗粒度参考动作映射到噪声向量，然后去噪生成细粒度动作，这些动作既符合通用策略的先验，又与参考动作大致一致。
DSBC 需要多少次 rollout 才能有效训练？ 在 LIBERO 实验中，DSBC 每个任务平均仅需 18 次 rollout 训练，在真实机器人上每个任务仅需 10 次 rollout 即可达到高性能。
FRS 能否与人类操作员作为语义推理者配合使用？ 可以。人类操作员可以通过简单的键盘按键进行方向性命令，FRS 将这些粗粒度参考转换为适合通用策略的细粒度动作。
训练 DSBC 策略的计算成本是多少？ 训练仅需约 1 GB 的 GPU 内存（因为训练时无需加载 VLA），而微调完整 VLA 需要数百 GB，且 DSBC 策略的训练时间不到一分钟。