我们将可控行为生成视为对高斯行为潜变量进行变分推断，该潜变量具有闭式共轭后验，并提供了一个倾斜-回归解释框架，用于预测哪些通道可以从回报-收缩因子中识别。我们引入了上下文残差回报标签、软资格门控和对比条件作为奖励和训练流程的扩展，在保持接近真实速度的同时，产生远高于硬资格消融的安全性可控性。我们通过漂移配对通道-转向矩阵（CSM）在三个回报度量上的范围，系统性地阐述了框架中的局限性，表明地图可控性是坐标特定的，并且CSM值必须与物理合理性护栏一起解释，以避免奖励破解混淆。
推断与可控生成
该框架以引导尺度（控制条件强度的超参数）运行。定义了三种情形：总体边缘（无条件）、用户控制（转向激活）和先验采样（从先验中抽取潜变量而不加条件）。一种后退时域补丁方案能够实现一致的长时域生成，完整采样程序详见补充材料。
实验
我们在Waymo开放运动数据集上评估该方法，以回答四个问题：
- 无条件路径是否生成逼真的行为？
- 学习的潜变量是否以物理合理性引导每个通道的回报？
- 无软资格门控的消融揭示了安全性可控性侵蚀和奖励破解混淆的哪些问题？
- 地图可控性对回报度量的选择有多敏感？
资格门控与奖励破解
分析表明，早期阶段消融的速度通道-转向矩阵值因奖励破解而被夸大：它通过抑制运动（大多数被引导的智能体停滞）而非维持逼真的速度来最大化速度回报。因此，通道-转向矩阵值必须与物理合理性护栏一起解读，在此护栏下，速度响应才是物理有效的。
结论
未来工作包括更丰富的机会感知回报分解（将空间与时间地图合规性分离）、带对比目标的闭环训练，以及超越独热转向的更强潜条件机制。
致谢
作者感谢谷歌TPU研究云（TRC）对TPU使用提供的支持。
方法细节
完成平方
通过标准完成平方推导获得后验均值和协方差，得到闭式共轭高斯后验。
上下文残差回报标签
原始逐通道回报将智能体行为与场景难度混淆（例如，无论驾驶风格如何，高速公路场景都会产生较低的越野惩罚）。上下文残差回报定义为针对场景上下文残差化的逐通道折扣回报。
车道中心线地图奖励
作为上下文残差回报中使用的复合越野加路沿惩罚的替代方案，基于到最近车道中心线的有符号横向偏移定义车道中心线回报。
软资格门控：衰减公式
在软资格门控下，所有有效智能体都会收到标签，但远离危险的智能体对折扣回报的贡献可忽略不计，因为衰减使每步奖励趋近于零。
常见问题
该方法如何在不重新训练的情况下生成可控行为？ 它学习一个潜变量，在推理时使用闭式共轭后验对策略进行条件化，允许用户通过调整潜变量来控制特定行为通道（如速度或安全性）。
什么是奖励破解，该框架如何预防？ 奖励破解是指模型通过不逼真的行为（例如，通过停滞来提高速度分数）最大化回报度量。该框架通过将通道-转向矩阵值与物理合理性护栏配对来预防。
为什么需要上下文残差回报而非原始回报？ 原始回报将智能体行为与场景难度混淆，难以隔离智能体的行动如何影响其得分。上下文残差回报移除了场景层面的干扰因素。
什么是软资格门控，为什么它重要？ 软资格门控根据智能体与危险的距离分配衰减权重，而非硬性截止。这保留了安全性可控性，同时避免了硬资格阈值导致的奖励破解。