环境与基线配置
环境
我们采用 MuJoCo 基准中的四种不同环境：HalfCheetah-v4、Walker2d-v4、Hopper-v4 和 Ant-v4，动作维度覆盖 3 至 8。这些环境既涉及对具身智能体的复杂控制，又借助 MuJoCo 实现提供了快速仿真能力，因此适合本研究。
POGP 在完整扩散过程中的基线性能
在第一项实验中，我们考察 POGP 作为独立扩散策略、且不采用所提出的基于 PVF 的动态扩散过程时的性能。我们让 POGP 使用完整的扩散步数，从而使其与其他测试基线方法保持等价。
结论
POGP 是一种学习何时停止扩散策略中后续去噪迭代的方法。它通过在去噪链上进行类似 Bellman 的递推，学习前缀价值函数（PVF），从而实现这一目标。PVF 具有两个作用：
- 它提供辅助优化目标，将扩散过程中的中间步骤塑造成可执行动作。
- 它提供测试时的停止标准：当预计继续迭代不会带来有意义的改进时，停止去噪。
在四个 MuJoCo 任务和 12 个基线方法上，POGP 将扩散计算预算降低了约 66%，同时保持接近完整性能的表现。按总体四分位数均值（IQM）计算，其性能较最先进基线方法高出约 4.6%。
作者感谢 Virginia Tech Advanced Research Computing 提供计算资源和技术支持，这些资源与支持促成了本文报告的结果。
多风险训练
一个自然的扩展方向，是在一组风险的分布下进行训练，而非仅针对单一风险。
网络架构
为确保公平比较，所有网络均采用相同的骨干网络。
环境评论家
环境评论家采用与标准 SAC 和 TD3 评论家相同的架构：由 256 个单元和 ReLU 激活函数组成的 MLP。其输入是环境状态和动作表示，并使用两个独立的头进行双-Q 值估计。
前缀评论家
前缀评论家是一个由 256 个单元和 ELU 激活函数组成的 MLP。其输入为环境状态、部分去噪后的动作以及扩散时间步，其中扩散时间步采用与去噪器时间步嵌入完全相同的编码方式。输出为一个标量。
完成映射刻意设计得较浅：它的作用是投影，而不是再次精炼。更深的映射会引入额外参数，可能隐式学习精炼动作，从而干扰消融实验。将完成映射的深度增加到两层并不会显著改变结果，仅表现出轻微的保持率差异。
基线实现
所有基线方法均在共享代码库中从头实现，以确保数据处理、经验回放缓冲区管理和评估协议完全一致。对于已有官方代码的基线，我们还在统一参考任务——训练 100 万步的 HalfCheetah——上进行了验证，确保实现结果与论文报告值的差异在 2% 以内。
- TD3： 双延迟 DDPG。我们采用标准超参数，并使用策略平滑机制，对策略平滑噪声的尺度进行裁剪。
- SAC： 带自动熵调节的软演员-评论家算法。
- PPO： 近端策略优化，使用 64 个并行环境，对策略比率目标进行裁剪，每次更新执行 10 个 epoch。
- Diffusion-QL： 采用按时间步加权的行为克隆损失的扩散策略。这是一个在线变体，不包含离线预训练。
- DPPO / D²PPO： 采用 PPO 风格更新优化的扩散策略。D²PPO 增加了第二个去噪阶段。
- SDAC： 基于分数匹配的扩散演员-评论家算法。它使用分数匹配辅助损失，避免对完整扩散链进行反向传播。
- DSAC-D： SAC 的扩散扩展，采用基于分数的直接策略更新。
- D3P： 带有学习得到的深度选择先验和动态提前退出机制的扩散策略。
- IDQL： 离线隐式扩散 Q 学习，先使用随机策略经验回放缓冲区进行 100,000 步离线预训练，再进行 900,000 步在线微调。
- FQL： 流 Q 学习。基于流的策略通过 reflow 目标进行训练，以实现单步动作生成。
- SAC-GMM： 采用五分量高斯混合策略的 SAC。它作为容量匹配的多模态基线，不进行迭代精炼。
计算资源
所有实验均在一块配备 80 GB 显存的 NVIDIA A100 GPU 上运行。
总计算开销如下：
- POGP 每次 100 万步运行的墙钟时间约为 1.0–1.2 小时。由于共享链生成过程，其耗时略高于基线方法。
- 非扩散基线每次 100 万步运行的墙钟时间约为 0.7–0.9 小时。
高维动作空间
按环境进行的归因分析显示，Ant（Ant 的动作维度）的收益小于 HalfCheetah（HalfCheetah 的动作维度）。我们认为这可能由两个因素共同造成。
噪声更大的梯度
更高维的动作空间会带来更大的评论家估计方差，从而降低风险 Bellman 目标的可靠性。Ant 的 Q 梯度可靠性为 0.58，而 HalfCheetah 为 0.82。
更深的完成映射或集成 V 评论家或许能够同时缓解这两个问题，但为避免将架构因素与目标函数混为一谈，我们把这一方向留待未来研究。
风险值
表 11 报告了在指定扩散深度下，以及在所评估风险范围内取均匀值时的完整链回报和保持率。
讨论
表 14 展现出三个趋势：
- 对于两种方法，完整链回报都会随着扩散步数增加而单调提升。
- 更长的扩散链能够提供表达能力更强的策略。
- 在每个评估链长度下，POGP 的绝对回报始终高于 SDAC；在 HalfCheetah 上，两者差距基本稳定在 28–30 分左右。
前缀训练目标不会损害完整链的质量。
用于离线强化学习与规划的扩散模型
扩散模型在强化学习中的应用早于在线训练形式。研究者曾使用扩散模型对完整的轨迹分布进行建模，通过采样并重新排序轨迹来实现规划。Diffusion-QL 首次在离线设置中使用带有按时间步加权微调目标的扩散演员。
这些离线方法隐含地假设推理过程总会完整执行。POGP 的前缀训练将这类目标扩展到了在线、计算量可变的场景。
与选项和时间抽象的关系
选项框架将环境时间尺度上的策略分解为带有启动条件和终止函数的时序扩展行为。POGP 的精炼 MDP 具有相同的随时间终止结构，但它运行在精炼时间而非环境时间上。
如果将选项的内部计算本身形式化为一个前缀最优过程，便有望把 POGP 扩展到分层设置。
与自适应计算时间的关系
自适应计算时间（ACT）和 PonderNet 在监督学习设置下学习何时停止迭代计算。POGP 提供了强化学习领域的对应方案：停止规则自然地从学习到的前缀价值函数中产生，而无需单独的停止网络。
不同于 ACT，POGP 的停止标准建立在期望回报之上，而不是建立在惩罚计算成本的代价函数之上。
常见问题
POGP 是什么？ POGP 是一种学习何时停止连续控制扩散策略中去噪迭代的方法。
前缀价值函数的作用是什么？ 它将扩散过程中的中间步骤塑造成可执行动作，并提供测试时停止去噪的标准。
POGP 能减少多少扩散计算？ 在四个 MuJoCo 任务和 12 个基线方法上，POGP 将扩散计算预算降低了约 66%，同时保持接近完整性能的表现。
评估使用了哪些环境？ 评估采用了 MuJoCo 基准中的 HalfCheetah-v4、Walker2d-v4、Hopper-v4 和 Ant-v4。