Modelos del mundo para la conducción autónoma
Más allá de la generación de vídeo, los modelos del mundo basados en ocupación predicen la evolución de la escena en un espacio tridimensional voxelizado. OccWorld tokeniza la ocupación 3D y predice autoregresivamente la ocupación futura junto con el movimiento del vehículo propio, mientras que Drive-OccWorld amplía la predicción de ocupación mediante el condicionamiento en acciones y la planificación basada en ocupación.
Estos enfoques se supervisan con objetivos de ocupación reales voxelizados, por lo que necesitan anotaciones de ocupación para construir su espacio de predicción. En cambio, GeoWAM no requiere anotaciones reales de ocupación y aprende la geometría futura a partir de objetivos densos de mapas de puntos métricos, derivados de modelos fundacionales de geometría disponibles públicamente; para el entrenamiento solo necesita imágenes RGB.
Modelos de geometría visual
Las escenas de conducción plantean requisitos adicionales, como precisión métrica a larga distancia, movimiento temporal, observaciones con visión envolvente y una gran variación entre configuraciones de cámara. DVGT aborda estos requisitos mediante una formulación egocéntrica que predice mapas de puntos métricos y poses del vehículo propio a partir de imágenes multivista y multifotograma, utilizando atención espacial-temporal factorizada, mientras que DVGT-2 amplía esta representación geométrica hacia el modelado de acciones para la conducción autónoma.
Sin embargo, los modelos de geometría visual existentes se centran principalmente en reconstruir la escena contenida en las imágenes observadas. GeoWAM amplía el aprendizaje de geometría visual, pasando de la reconstrucción a la predicción, mediante la predicción de mapas de puntos futuros para aprender la dinámica de la escena y conectar las representaciones geométricas con la planificación de trayectorias.
Planificación en NAVSIM V2
La Tabla 2 compara GeoWAM con planificadores basados en percepción y modelos recientes de acción del mundo en la partición navtest. GeoWAM alcanza un EPDMS de 90,2, supera en 0,6 puntos la inicialización de DVGT-2 y establece la mejor puntuación general de la tabla.
También iguala las mejores puntuaciones de DDC y TLC, a la vez que mantiene resultados competitivos en los demás componentes de seguridad y progreso. En conjunto, estos resultados demuestran la eficacia de la formulación basada en geometría visual con un decodificador determinista de trayectorias.
Conclusión
Hemos presentado GeoWAM, un modelo de acción del mundo basado en geometría visual para la conducción autónoma. En lugar de modelar la evolución de la escena generando imágenes futuras, GeoWAM aprende a predecir características geométricas futuras a partir de observaciones históricas multivista, mediante supervisión tanto a nivel de características como de mapas de puntos densos.
Tras el preentrenamiento geométrico, adopta una formulación similar a la de la dinámica inversa, que infiere tokens futuros del vehículo propio a partir de la dinámica geométrica predicha y los transforma en una trayectoria del vehículo propio mediante una cabeza de acción condicionada por la geometría. Este diseño en dos etapas transfiere directamente el conocimiento geométrico predictivo a la planificación, sin necesidad de sintetizar imágenes futuras.
Al situar la evolución geométrica entre la observación y la acción, GeoWAM ofrece una formulación espacialmente fundamentada para el modelado de acciones del mundo en la conducción autónoma.
Preguntas frecuentes
¿Qué es GeoWAM? GeoWAM es un modelo de acción del mundo basado en geometría visual para la conducción autónoma.
¿Qué tipo de supervisión utiliza GeoWAM? Utiliza supervisión a nivel de características y de mapas de puntos densos, derivados de modelos fundacionales de geometría, y para el entrenamiento solo necesita imágenes RGB.
¿Cómo conecta GeoWAM la predicción geométrica con la planificación? Infiere tokens futuros del vehículo propio a partir de la dinámica geométrica predicha y los transforma en una trayectoria del vehículo propio mediante una cabeza de acción condicionada por la geometría.
¿Cómo rinde GeoWAM en la partición navtest de NAVSIM V2? Alcanza un EPDMS de 90,2, lo que supone una mejora de 0,6 puntos respecto a la inicialización de DVGT-2.