GeoWAM:面向自动驾驶的视觉几何世界动作模型

GeoWAM:面向自动驾驶的视觉几何世界动作模型

Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen +7 位

1 分钟阅读•2026年8月25日

面向自动驾驶的世界模型

不同于仅生成视频,基于占据的世界模型会在体素化的三维空间中预测场景演化。OccWorld将三维占据状态离散为令牌,并以自回归方式同时预测未来占据状态与自车运动;Drive-OccWorld则进一步引入动作条件,并基于占据状态进行规划。

这类方法以体素化的真实占据状态作为监督信号,因此需要占据标注来构建预测空间。相比之下,GeoWAM无需真实占据标注,而是利用现成几何基础模型生成的稠密度量点图作为目标,学习未来几何结构;训练时只需使用RGB图像。

GeoWAM世界动作模型流程

视觉几何模型

驾驶场景还提出了更多要求,包括远距离度量精度、随时间变化的运动、环视观测,以及不同相机配置带来的显著差异。DVGT采用以自车为中心的建模方式,借助分解式时空注意力,从多帧、多视角图像中预测度量点图与自车位姿;DVGT-2则将这种几何表示进一步扩展到自动驾驶动作建模。

然而,现有视觉几何模型主要重建观测图像中已经呈现的场景。GeoWAM将视觉几何学习从重建拓展到预测,通过预测未来点图来学习场景动态,并将几何表示与轨迹规划衔接起来。

GeoWAM视觉几何表示

表2在navtest划分上比较了GeoWAM、基于感知的规划器以及近期的世界动作模型。GeoWAM取得90.2的EPDMS,相比DVGT-2初始化提升0.6分,并在表中获得最高综合得分。

此外,它在DDC和TLC两项指标上也达到最佳成绩,同时在其他安全性与进度指标上保持竞争力。这些结果共同证明,结合确定性轨迹解码器的视觉几何建模方式是有效的。

结论

我们提出了GeoWAM,一种面向自动驾驶的视觉几何世界动作模型。GeoWAM不通过生成未来图像来建模场景演化,而是在特征级监督和稠密点图监督下,根据历史多视角观测预测未来几何特征。

完成几何预训练后,GeoWAM采用类似逆动力学的建模方式,从预测的几何动态中推断未来自车令牌,并通过几何条件动作头将其映射为自车轨迹。这种两阶段设计无需合成未来图像,便能将预测得到的几何知识直接迁移到规划任务中。

GeoWAM将几何演化置于观测与动作之间,为自动驾驶中的世界动作建模提供了一种具有空间依据的方案。

常见问题

GeoWAM是什么? GeoWAM是一种面向自动驾驶的视觉几何世界动作模型。

GeoWAM采用什么监督信号? 它使用由几何基础模型生成的特征级监督和稠密点图监督,训练时只需RGB图像。

GeoWAM如何将几何预测与规划连接起来? 它从预测的几何动态中推断未来自车令牌,再通过几何条件动作头将其映射为自车轨迹。

GeoWAM在NAVSIM V2的navtest划分上表现如何? 它取得90.2的EPDMS,相比DVGT-2初始化提升0.6分。