Análisis motivador
En NAVSIM v1, primero utilizamos lecturas idénticas de trayectoria única con salida fija para evaluar la sensibilidad al nivel de ruido del vídeo y a la profundidad de DiT, así como para determinar si distintas profundidades resuelven conjuntos de escenas redundantes. El PDMS comunicado agrega los checkpoints con mejor rendimiento en validación de diez semillas.
Método
A partir del análisis motivador, Adaptive-WAM expone múltiples salidas de trayectoria y las selecciona según su calidad predicha.
Problema y backbone
El prefijo condicional del backbone produce características de vídeo intermedias que se utilizan para planificar la trayectoria.
Esta operación consiste en una única pasada para obtener características de vídeo; es independiente de los cinco pasos DDIM utilizados por cada cabeza de trayectoria.
Decodificación de trayectorias con múltiples salidas
Todas las cabezas tienen la misma arquitectura, presupuesto de optimización, tamaño de lote y número de épocas. Utilizan cinco pasos de eliminación de ruido de acciones, en consonancia con ReCogDrive. Las cabezas de salida tienen parámetros independientes y no intercambian características ni predicciones. Así, las diferencias entre salidas pueden atribuirse a la profundidad del backbone y no a la capacidad de las cabezas.
Cada cabeza de trayectoria única utiliza el mismo objetivo de difusión sobre trayectorias registradas y el mismo protocolo de entrenamiento de cinco pasos que ReCogDrive.
Entrenamiento
Durante el aprendizaje por imitación, el backbone Wan se adapta mediante LoRA, mientras que las proyecciones y las cabezas de trayectoria se optimizan por completo. El objetivo del actor es:
El objetivo del actor combina el objetivo nativo de difusión de vídeo de Wan con objetivos de aprendizaje de trayectorias.
Durante el entrenamiento se utiliza el objetivo nativo de difusión de vídeo de Wan. Tanto la supervisión de vídeo como la decodificación de trayectorias emplean el mismo índice fijo de ruido de vídeo y la misma pasada condicional de Wan durante la adaptación conjunta; no se necesita una segunda pasada del backbone. La predicción de vídeo se conserva como supervisión de la representación, no como una salida necesaria en producción.
Fiabilidad del evaluador y compromiso adaptativo
El evaluador se analiza en un conjunto diagnóstico offline de 12.146 escenas. La selección exacta de la puntuación máxima acierta en el 91,2 % de las escenas, y la exactitud flexible con empates alcanza el 94,4 % cuando se acepta una trayectoria seleccionada situada a menos de un 5 % de la verdadera puntuación máxima. La correlación estricta de rangos no resulta informativa aquí: más del 95 % de las escenas contiene grupos de trayectorias que son todas perfectas, todas nulas o están empatadas en la cima. En su lugar, sometemos a prueba los fallos relevantes. Solo 51 escenas (0,42 %) seleccionan una trayectoria al menos un 50 % peor que otra trayectoria casi perfecta disponible, y 69 escenas (0,57 %) superan una diferencia del 20 %.
El barrido actual de umbrales muestra que, en el umbral operativo comunicado, la política adaptativa mejora a B15 fijo en 0,17 puntos PDMS y reduce aproximadamente un 10 % la latencia media de planificación de extremo a extremo, de 190 a 170 ms. Más del 94 % de las escenas termina dentro de las tres primeras salidas, mientras que el planificador fijo de profundidad completa promedia 320 ms. En cambio, el umbral permisivo 70 pierde 2,13 puntos frente a B15 fijo.
Ablaciones y eficiencia
Congelar Wan no basta. Ajustar Wan por separado y después almacenar en caché sus características solo recupera una pequeña parte de la pérdida, mientras que el entrenamiento conjunto con LoRA mejora el modelo de trayectoria única en 5,67 puntos frente a las características almacenadas en caché. El ajuste completo no aporta una mejora significativa respecto a LoRA. Sustituir las características de Wan por ViT-S, ViT-B y ViT-L reduce el PDMS de trayectoria única en 6,71, 5,00 y 1,74 puntos, respectivamente.
Protocolo zero-shot de NAVSIM a nuScenes
El modelo entrenado en NAVSIM se evalúa en nuScenes sin ajuste adicional con nuScenes. El modelo sigue utilizando una única vista frontal y predice trayectorias del vehículo ego en el sistema de coordenadas local. Siguiendo a los planificadores de modelos del mundo anteriores, comunicamos el error de desplazamiento y la tasa de colisión a 1, 2 y 3 segundos, así como su promedio en el horizonte. Una comparación independiente distingue entre los métodos entrenados en nuScenes y los métodos zero-shot de NAVSIM a nuScenes.
Construcción del conjunto de datos y filtrado temporal
Para un ancla en el instante t, el conjunto de datos recupera el fotograma actual CAM_F0 y los ocho fotogramas siguientes de la cámara frontal, con la frecuencia nativa de NAVSIM/OpenScene de 2 Hz.
Las marcas temporales y el tiempo relativo de cada fotograma se almacenan en los metadatos y se comprueban al construir el clip. Se elimina un ancla si falta cualquiera de los ocho fotogramas futuros necesarios —algo habitual cerca del final de un registro— o si no se puede cargar una imagen de cámara referenciada. El objetivo de trayectoria alineado contiene las ocho poses futuras correspondientes a los mismos cuatro segundos.
Partiendo de 103.288 tokens candidatos de navtrain, el filtrado temporal conserva 82.555 clips completos de nueve fotogramas y elimina 20.733 candidatos que no pueden proporcionar la secuencia requerida de fotograma actual más ocho futuros. NAVSIM no define una partición oficial de entrenamiento/validación para este corpus convertido, por lo que comunicamos recuentos a nivel de corpus en lugar de presentar una partición interna de selección de modelos como división oficial del benchmark.
El registro de metadatos almacena el token de escenario, el identificador del registro, la marca temporal del ancla, las rutas relativas de las cámaras, los parámetros intrínsecos de la cámara, la velocidad y aceleración del vehículo ego, la trayectoria futura alineada y una descripción textual generada mediante reglas. El conjunto de datos de PyTorch resuelve las rutas de las imágenes relativas a la raíz de OpenScene durante la carga.
Descripciones textuales generadas mediante reglas
La condición textual de Wan se genera a partir de atributos estructurados y auditables, no mediante un captioner independiente de visión-lenguaje. La plantilla final es:
> Vehicle {motion}{turn_info} at {speed:.1f} m/s in urban environment.
El descriptor del movimiento utiliza la velocidad actual: por debajo de 0,5 m/s indica que el vehículo está detenido; entre 0,5 y 3 m/s, que avanza lentamente; entre 3 y 8 m/s, que circula; y por encima de 8 m/s, que se desplaza rápido. Solo se añade un descriptor de giro cuando el desplazamiento lateral histórico observado supera 0,3 m. El generador de descripciones también incorpora los metadatos actuales del área del mapa y del flujo de tráfico. Es crucial que todos los campos se calculen a partir de los metadatos del mapa y de observaciones realizadas en el instante del ancla o antes; no se consulta ni la trayectoria futura real ni imágenes futuras. El prompt se almacena junto con el token del escenario, y el conjunto finito de embeddings de texto T5 resultantes se almacena en caché tanto durante el entrenamiento como durante la inferencia.
Índice fijo de ruido de vídeo y lectura de múltiples salidas
Wan2.2-TI2V-5B contiene 30 bloques DiT de vídeo. El sampler nativo de vídeo tiene 40 pasos de ruido, pero el planificador desplegado ejecuta una única pasada condicional de Wan en un índice de muestreo fijo. La parte futura del latente se inicializa a partir del ruido del scheduler en ese índice; la imagen actual proporciona el segmento condicionado del latente. La ruta de planificación no utiliza ningún latente futuro observado, ninguna rama de guía sin clasificador ni decodificación mediante VAE de vídeo.
Los estados ocultos se leen después de determinados bloques DiT. Cada lectura tiene su propia proyección y cabeza de trayectoria. Las seis cabezas poseen parámetros independientes y no intercambian características ni predicciones, mientras que sus pérdidas de trayectoria retropropagan a través del LoRA compartido de Wan durante el aprendizaje por imitación. Cuando el enrutamiento continúa de una salida a la siguiente, se reutilizan el prefijo DiT evaluado previamente y su estado oculto.
Aislamiento del actor, el evaluador y los gradientes
Durante el aprendizaje por imitación, el backbone Wan se adapta con LoRA; las proyecciones y las cabezas de trayectoria son totalmente entrenables. La pérdida del actor es:
La pérdida del actor combina la supervisión nativa de difusión de vídeo con los objetivos de trayectoria.
El objetivo nativo de difusión de vídeo y todas las cabezas de trayectoria utilizan el mismo índice fijo de ruido de vídeo y la misma pasada condicional de Wan, evitando una segunda pasada del backbone.
El evaluador de calidad recibe trayectorias desacopladas del gradiente. Por tanto, su ajuste no puede modificar el generador de trayectorias a través de las coordenadas de las propuestas. Las actualizaciones del actor y del evaluador se alternan sobre el mismo flujo de entrenamiento.
Después del aprendizaje por imitación, Wan y el evaluador se congelan. Solo se perfeccionan las seis cabezas de trayectoria mediante la formulación DiffGRPO adoptada por ReCogDrive: una cadena completa de eliminación de ruido de trayectoria de cinco pasos se trata como una acción compuesta y recibe como recompensa la puntuación de planificación de NAVSIM. Cada salida utiliza el mismo presupuesto de entrenamiento y la misma regla de checkpoint con mejor validación. Las estadísticas por capa comunicadas en el artículo principal agregan diez ejecuciones.
Puntuaciones de planificación con salida fija
El bloque 15 es la salida fija más potente en ambas etapas, pero los bloques posteriores conservan ventajas específicas para determinadas escenas. Esta distinción motiva el enrutamiento según la calidad del candidato, en lugar de elegir siempre el bloque 15 o el bloque final.
Trayectorias cualitativas por capa
Los ejemplos son superposiciones diagnósticas de las seis trayectorias con salida fija, no entradas adicionales del modelo. Muestran que las diferencias entre capas pueden corresponder a decisiones distintas, mientras que la saturación de las métricas también puede asignar puntuaciones altas idénticas a planes visiblemente diferentes pero aceptables.
- Las salidas tempranas difieren del consenso de las capas profundas.
- Cuatro salidas se superponen, mientras que dos conservan modos distintos.
- Las seis trayectorias reciben la puntuación máxima pese a sus diferencias.
Arquitectura y objetivo del evaluador
El evaluador desplegado ajusta un codificador de imágenes DINOv2-Small. Utiliza únicamente la imagen frontal actual y la trayectoria candidata; el estado del vehículo ego y la orden de navegación no son entradas del evaluador. La trayectoria se aplana y se codifica mediante un MLP. Las características de la trayectoria y de la imagen se concatenan, y seis cabezas MLP independientes de dos capas producen logits para NC, DAC, DDC, TTC, EP y Comf.
Para los objetivos de los componentes del evaluador, el evaluador utiliza entropía cruzada binaria con etiquetas suaves y pesos iguales:
El evaluador minimiza una entropía cruzada binaria con pesos iguales frente a objetivos suaves de los componentes del evaluador.
Los objetivos no se binarizan. No se utiliza ninguna pérdida de rango global porque la composición oficial contiene numerosos empates y casi empates. Durante la inferencia, las predicciones sigmoidales de los componentes se combinan para obtener la puntuación de calidad final.
Fiabilidad ante empates
El diagnóstico del evaluador utiliza un conjunto fijo de candidatos offline que cubre 12.146 escenas. Este conjunto se emplea únicamente para comparar evaluadores y es distinto de la inferencia adaptativa, que acumula como máximo seis trayectorias. Más del 95 % de las escenas diagnósticas contiene candidatos conjuntamente perfectos, conjuntamente nulos o empatados en la cima. Por ello, comunicamos la calidad de selección y los errores relevantes, en lugar de una correlación estricta de orden total.
Diagnósticos del índice de vídeo y del backbone
Las características de Wan utilizadas por el evaluador también son insensibles a los cinco índices de vídeo probados. En el índice 17, la mejor salida de Wan obtiene 92,62, apenas 0,03 por encima de DINO-Small. Dado que un evaluador basado en Wan añadiría una costosa pasada del modelo del mundo en cada salida intentada, esta diferencia diagnóstica insignificante no justifica su coste online. Por ello, DINO-Small se utiliza como verificador de calidad.
Conclusión
Las características intermedias de vídeo-DiT son representaciones robustas para la planificación mucho antes de que finalice la síntesis completa de la imagen. Al combinar cabezas de trayectoria de múltiples profundidades con un controlador de calidad de trayectorias que tiene en cuenta los empates, Adaptive-WAM asigna el cómputo del modelo del mundo según la calidad del plan actual. El método logra resultados sólidos en NAVSIM y en nuScenes zero-shot, y ofrece una vía práctica para transformar grandes modelos generativos del mundo en políticas de conducción eficientes.
Preguntas frecuentes
¿Qué es Adaptive-WAM? Adaptive-WAM es un método de planificación que expone múltiples salidas de trayectoria a partir de características intermedias de vídeo-DiT y las enruta según la calidad predicha de la trayectoria.
¿Cómo reduce Adaptive-WAM la latencia de planificación? Más del 94 % de las escenas termina dentro de las tres primeras salidas, lo que reduce la latencia media de 190 a 170 milisegundos frente a B15 fijo.
¿Qué datos utiliza el evaluador de calidad? El evaluador utiliza la imagen frontal actual y la trayectoria candidata, sin entradas correspondientes al estado del vehículo ego ni a la orden de navegación.
¿Por qué se utiliza DINOv2-Small como verificador de calidad? Las características de un evaluador basado en Wan ofrecen una mejora diagnóstica insignificante, pero exigen una costosa pasada del modelo del mundo en cada salida intentada.