利用视频扩散特征进行自适应提前退出规划,提升驾驶机器人效率

利用视频扩散特征进行自适应提前退出规划,提升驾驶机器人效率

Sining Ang, Yuguang Yang, Yan Wang

2 分钟阅读•2026年8月9日

动机分析

在 NAVSIM v1 上,我们首先采用完全一致的固定退出点、单轨迹读出方案,测试模型对视频噪声水平和 DiT 深度的敏感性,并考察不同深度是否解决了重复的场景集合。文中报告的 PDMS 汇总了十个随机种子下验证集表现最佳的检查点。

方法

受上述分析启发,Adaptive-WAM 提供多个轨迹退出点,并依据预测质量决定路由。

Adaptive-WAM 多退出点轨迹规划架构

问题与骨干网络

条件骨干网络的前缀会产生用于轨迹规划的中间视频特征。

这一操作只需进行一次视频特征前向计算,与每个轨迹头使用的五步 DDIM 过程彼此独立。

多退出点轨迹解码

所有轨迹头采用相同的架构、优化预算、批大小和训练轮数。它们执行五步动作去噪,与 ReCogDrive 保持一致。各退出头拥有独立参数,彼此不交换特征或预测结果。因此,不同退出点之间的差异可以归因于骨干网络深度,而不是轨迹头容量。

每个单轨迹头都采用与 ReCogDrive 相同的日志轨迹扩散目标和五步训练流程。

训练

在模仿学习阶段,我们使用 LoRA 调整 Wan 骨干网络,同时对轨迹投影层和轨迹头进行全参数优化。Actor 的目标函数为:

Actor 目标将 Wan 原生视频扩散目标与轨迹学习目标结合起来。

训练过程中采用 Wan 原生的视频扩散目标。视频监督和轨迹解码在联合适配时使用相同的固定视频噪声索引,并共享同一次条件 Wan 前向计算;无需再次运行骨干网络。视频预测作为表示监督保留,而不是部署时必须输出的结果。

评分器可靠性与自适应权衡

评分器在涵盖 12,146 个场景的离线诊断池上进行评估。精确选择最高分轨迹的成功率为 91.2%;若将与真实最高分相差不超过 5% 的选中轨迹也视为正确,则考虑并列情况后的软准确率达到 94.4%。严格的秩相关性在这里缺乏信息量:超过 95% 的场景包含一组轨迹,它们要么全部达到完美分数、全部为零分,要么并列最高。因此,我们转而重点检验具有实际后果的失败案例。仅有 51 个场景(0.42%)选择了一个比可用的近乎完美轨迹差至少 50% 的轨迹,另有 69 个场景(0.57%)的差距超过 20%。

当前的阈值扫描显示,在报告所采用的工作阈值下,自适应策略相比固定 B15 提高了 0.17 PDMS,同时将端到端规划平均延迟降低约 10%,从 190 毫秒降至 170 毫秒。超过 94% 的场景会在前三个退出点内终止,而固定全深度规划器的平均延迟为 320 毫秒。较宽松的阈值 70 则比固定 B15 低 2.13 分。

早期与深层轨迹退出点的补充对比

消融实验与效率

冻结 Wan 并不足够。先单独微调 Wan、再缓存其特征,只能挽回少量损失;而联合 LoRA 训练使单轨迹模型相比缓存特征提升了 5.67 分。全参数微调相比 LoRA 没有带来有意义的收益。用 ViT-S、ViT-B 和 ViT-L 特征替换 Wan 特征后,单轨迹 PDMS 分别下降 6.71、5.00 和 1.74 分。

在 nuScenes 上评估 NAVSIM 训练的模型时,不进行任何 nuScenes 微调。模型继续使用单个前视图,并在局部坐标系中预测自车轨迹。我们遵循此前世界模型规划器的做法,报告 1、2、3 秒时的位移误差和碰撞率,以及各时域的平均值。另行设置对比,区分在 nuScenes 上训练的方法与 NAVSIM-to-nuScenes 零样本方法。

数据集构建与时间过滤

对于时间 t 的锚点,数据集会以 NAVSIM/OpenScene 原生的 2 Hz 频率,读取当前 CAM_F0 帧及之后八帧前视摄像头图像。

构建视频片段时,时间戳和每帧的相对时间都会写入元数据并接受检查。如果所需的八帧未来图像中有任何一帧缺失,或引用的摄像头图像无法加载,就会移除该锚点。这种情况通常发生在日志末尾。对齐后的轨迹目标包含同一四秒时间段内的八个未来位姿。

在 103,288 个候选 navtrain token 中,时间过滤最终保留了 82,555 个完整的九帧片段,并移除 20,733 个无法提供“当前帧加未来八帧”序列的候选样本。NAVSIM 没有为这一转换后的语料定义官方训练/验证划分,因此我们报告语料库级别的数量,而不将内部模型选择划分呈现为官方基准划分。

元数据记录包含场景 token、日志标识符、锚点时间戳、相对摄像头路径、摄像头内参、自车速度与加速度、对齐后的未来轨迹,以及程序生成的文本描述。PyTorch 数据集在加载时,会以 OpenScene 根目录为基准解析图像路径。

程序生成的文本描述

Wan 的文本条件来自结构化且可审计的属性,而不是独立的视觉语言描述器。最终模板为:

> Vehicle {motion}{turn_info} at {speed:.1f} m/s in urban environment.

运动描述符根据当前速度生成:低于 0.5 m/s 为静止,0.5–3 m/s 为缓慢行驶,3–8 m/s 为巡航,超过 8 m/s 为快速行驶。只有当观测到的历史横向位移超过 0.3 m 时,才会添加转向描述。描述生成器还会纳入当前地图区域和交通流元数据。关键在于,所有字段都由锚点时刻及之前的地图元数据和观测结果计算得出;既不会查询真实未来轨迹,也不会读取未来图像。提示词与场景 token 一同存储,生成的有限组 T5 文本嵌入会在训练和推理阶段缓存。

固定视频噪声索引与多退出点读出

Wan2.2-TI2V-5B 包含 30 个视频 DiT 模块。原生视频采样器有 40 个噪声步,但部署的规划器会在固定采样索引处执行一次条件 Wan 前向计算。潜变量的未来部分在该索引处由调度器噪声初始化,当前图像则提供条件潜变量切片。规划路径不使用观测到的未来潜变量、无条件的 classifier-free guidance 分支或视频 VAE 解码。

隐藏状态在选定的 DiT 模块之后读出。每个读出点都有自己的投影层和轨迹头。六个轨迹头拥有独立参数,彼此不交换特征或预测结果;在模仿学习期间,它们的轨迹损失都会通过共享的 Wan LoRA 反向传播。当路由从一个退出点继续到下一个退出点时,之前已经计算过的 DiT 前缀及其隐藏状态会被复用。

Actor、评分器与梯度隔离

在模仿学习阶段,Wan 骨干网络通过 LoRA 进行适配;轨迹投影层和轨迹头均可完整训练。Actor 损失为:

Actor 损失将原生视频扩散监督与轨迹目标结合起来。

原生视频扩散目标和所有轨迹头使用相同的固定视频噪声索引与条件 Wan 前向计算,从而避免第二次骨干网络前向传播。

质量评分器接收经过 detached 处理的轨迹。因此,评分器拟合不会通过候选轨迹坐标反向改变轨迹生成器。Actor 与评分器在同一训练数据流上交替更新。

模仿学习结束后,Wan 和评分器均被冻结。只有六个轨迹头会使用 ReCogDrive 采用的 DiffGRPO 形式继续优化:一条完整的五步轨迹去噪链被视为一个复合动作,并以 NAVSIM 规划分数作为奖励。每个退出点使用相同的训练预算和验证集最佳检查点规则。正文报告的层统计数据汇总了十次运行结果。

固定退出点规划分数

在两个阶段中,第 15 个模块都是表现最强的固定退出点,但更后的模块在特定场景中仍具有优势。这一区别说明,应依据候选轨迹质量进行路由,而不是始终选择第 15 个模块或最终模块。

分层轨迹定性分析

这些示例是六个固定退出点轨迹的诊断性叠加图,并非额外的模型输入。它们表明,不同层的差异可能对应不同决策;同时,指标饱和也可能让视觉上不同但均可接受的规划获得相同高分。

  • 早期退出点与更深层的共识不同。
  • 四个退出点彼此重合,另外两个保留了不同模式。
  • 尽管存在差异,六条轨迹都获得满分。
展示退出点轨迹重叠与分歧的补充示例

评分器架构与目标函数

部署的评分器对 DINOv2-Small 图像编码器进行微调。它只使用当前前视图和候选轨迹;自车状态与导航指令不会作为评分器输入。轨迹先展平,再通过 MLP 嵌入。轨迹特征与图像特征拼接后,由六个相互独立的双层 MLP 头输出 NC、DAC、DDC、TTC、EP 和 Comf 的 logits。

对于评估器各组成项的目标,评分器采用等权软标签二元交叉熵:

评分器以等权二元交叉熵最小化与评估器各组成项软目标之间的差异。

目标值不会被二值化。由于官方组合中存在大量并列和近似并列情况,我们不使用全局排序损失。推理时,将各组成项的 sigmoid 预测组合为最终质量分数。

考虑并列情况的可靠性

评分器诊断使用一个涵盖 12,146 个场景的固定离线候选池。该候选池仅用于比较评分器,与自适应推理不同;后者最多累积六条轨迹。超过 95% 的诊断场景包含一组候选轨迹,它们要么全部完美、全部为零分,要么并列最高。因此,我们报告选择质量和具有实际后果的错误,而不是严格的全序相关性。

视频索引与骨干网络诊断

在测试的五个视频索引上,Wan 评分器特征同样不敏感。在索引 17 处,Wan 最佳退出点的分数为 92.62,仅比 DINO-Small 高 0.03。由于基于 Wan 的评分器会在每次尝试退出时额外进行一次大型世界模型前向计算,这一微乎其微的诊断差异不足以抵消其在线成本。因此,质量验证器采用 DINO-Small。

结论

在完整图像合成结束之前很久,中间视频 DiT 特征就已经是稳健的规划表示。Adaptive-WAM 将多深度轨迹头与考虑并列情况的轨迹质量控制器结合起来,根据当前规划质量分配世界模型计算量。在 NAVSIM 和零样本 nuScenes 上,它都取得了强劲结果,并为将大型生成式世界模型转化为高效驾驶策略提供了一条切实可行的路径。

常见问题

Adaptive-WAM 是什么? Adaptive-WAM 是一种规划方法,它从中间视频 DiT 特征中提供多个轨迹退出点,并依据预测的轨迹质量进行路由。

Adaptive-WAM 如何降低规划延迟? 超过 94% 的场景会在前三个退出点内终止;与固定 B15 相比,平均延迟从 190 毫秒降至 170 毫秒。

质量评分器使用哪些数据? 评分器使用当前前视图和候选轨迹,不接收自车状态或导航指令作为输入。

为什么使用 DINOv2-Small 作为质量验证器? 基于 Wan 的评分器特征带来的诊断提升微乎其微,却需要在每次尝试退出时进行一次大型世界模型前向计算。