Presentamos COMPACT-VA, un marco de memoria de trabajo alineada con la planificación para políticas de conducción autónoma monolíticas. Al acoplar la compresión con la predicción de trayectorias mediante VQ-VAE condicional, abordamos la limitación fundamental de que las políticas unificadas VA/VLA carecen de mecanismos de memoria explícitos o dependen de una compresión basada en reglas que no garantiza la retención del historial relevante para la decisión. Mediante una evaluación sistemática en escenarios críticos de parada controlada, demostramos que la compresión alineada con la planificación logra mejoras considerables en la corrección de decisiones, manteniendo al mismo tiempo presupuestos de tokens en tiempo real.
Modelo Base de Acción-Visión Unificada
Nuestro enfoque se basa en la variante de política unificada visión-acción (VA) de Alpamayo, que consta de tres componentes principales: un codificador visual que procesa observaciones multicámara en tokens visuales, un backbone transformador que realiza razonamiento temporal sin instrucciones de texto, y un decodificador de trayectorias que genera el movimiento futuro del vehículo.
Si bien esta arquitectura unificada elimina los módulos intermedios explícitos, la longitud de la secuencia crece linealmente con la longitud del contexto. Para escenarios de conducción complejos que requieren un contexto temporal extendido, el número de tokens aumenta sustancialmente, superando fácilmente las ventanas de contexto típicas de los VLM. Sin una compresión efectiva, el costo cuadrático de atención del transformador O(T²d) se vuelve intratable para su implementación.
Escenarios de Conducción Dependientes de Memoria y Marco de Evaluación
Nos centramos en escenarios donde el contexto histórico extendido juega un papel particularmente importante en la determinación del comportamiento correcto. Estudios previos identifican que las decisiones críticas de conducción dependen de señales de comportamiento capturadas dentro de una ventana temporal de 5 a 10 segundos, lo que constituye un contexto extendido en relación con las políticas de conducción estándar que generalmente procesan solo 1-2 segundos, y se distingue de las tareas de navegación que requieren memoria espacial a largo plazo en rutas completas. Identificamos escenarios dinámicos de alta señal donde el contexto extendido determina la corrección del comportamiento y diseñamos métricas para estos resultados críticos de decisión más allá del desplazamiento de la trayectoria.
Intersecciones Controladas como Bancos de Prueba de Memoria
Identificamos tres clases de escenarios donde el contexto histórico extendido juega un papel destacado: (1) paradas de cuatro direcciones que requieren negociación del derecho de paso basada en el orden de llegada, (2) señales de stop/ceda el paso que requieren evaluación del tráfico cruzado dinámico, y (3) giros sin protección que requieren decisiones de aceptación de brechas. Estos comparten una característica fundamental: el comportamiento correcto depende de la corrección de decisiones discretas, es decir, si el vehículo se detiene cuando es necesario y avanza cuando corresponde, en lugar de la suavidad de la trayectoria.
Intersecciones de Parada de Cuatro Direcciones. Múltiples vehículos llegan a una intersección con señales en todos los accesos. El derecho de paso sigue el orden de llegada, lo que exige rastrear qué vehículos llegaron antes durante varios segundos. El vehículo ego necesita determinar su posición en esta cola temporal. El modelo debe mantener información sobre los tiempos de llegada, hace 5-10 segundos, para inferir correctamente el orden de ceder el paso y avanzar rápidamente al obtener el derecho de paso.
Stop/Ceda el Paso con Oclusión Dinámica. A medida que el vehículo ego se acerca a la intersección, los participantes previamente visibles pueden ocultarse o salir del campo de visión. El modelo debe persistir su estado observado segundos antes en lugar de depender únicamente de los objetos actualmente visibles para evitar evaluar incorrectamente una intersección ocluida como despejada.
Giros Sin Protección. El vehículo ego cruza el tráfico en sentido contrario sin una señal protegida. Un vehículo que se aproxima, observado hace segundos, puede comenzar a desacelerar para ceder el paso, o mantener la velocidad, lo que requiere que el vehículo ego se detenga y espere un espacio seguro. Sin rastrear las trayectorias de los vehículos que se aproximan durante varios segundos, el modelo corre el riesgo de girar hacia el tráfico en sentido contrario o esperar innecesariamente.
Estas tres clases de escenarios abarcan los desafíos centrales de toma de decisiones en la conducción. Según análisis previos, las habilidades fundamentales aquí evaluadas, es decir, errores en la aceptación de brechas, negociación del derecho de paso y comportamiento de parada, representan aproximadamente el 40% de los accidentes en intersecciones.
Rendimiento General
Priorizamos la Tasa de Éxito de Avance como métrica principal, ya que prueba directamente si el modelo mantiene una memoria efectiva para determinar cuándo avanzar, requiriendo memoria a largo plazo para evaluar patrones de tráfico cruzado y derecho de paso. En contraste, la Tasa de Éxito de Parada, aunque importante, a menudo se puede lograr de manera reactiva observando las tendencias de desaceleración inmediatas sin necesidad de memoria extendida.
El Alpamayo estándar ya logra un rendimiento competitivo (63.8% de Tasa de Éxito de Avance), lo que demuestra la efectividad de su arquitectura. La observación dispersa con historial largo (62.0%) tiene un rendimiento inferior, revelando que el muestreo demasiado disperso descarta fotogramas intermedios críticos y perjudica el rendimiento. Sorprendentemente, la observación densa con historial completo (61.9%) tiene el peor rendimiento a pesar de acceder a los 40 fotogramas, lo que sugiere que la abundancia indiscriminada de tokens confunde al modelo, y el costo de atención cuadrático sobre 6400 tokens dificulta el razonamiento temporal. La compresión jerárquica aprendida sin alineación con la planificación (65.6%) mejora respecto a Alpamayo, validando que la compresión estructurada retiene información relevante para la decisión.
Conclusión
Este trabajo presenta COMPACT-VA, un marco de memoria de trabajo alineada con la planificación para políticas de conducción autónoma monolíticas. Al acoplar la compresión con la predicción de trayectorias mediante VQ-VAE condicional, abordamos la limitación fundamental de que las políticas unificadas VA/VLA carecen de mecanismos de memoria explícitos o dependen de una compresión basada en reglas que no garantiza la retención del historial relevante para la decisión. Mediante una evaluación sistemática en escenarios críticos de parada controlada, demostramos que la compresión alineada con la planificación logra mejoras considerables en la corrección de decisiones, manteniendo al mismo tiempo presupuestos de tokens en tiempo real. Nuestro enfoque de memoria de trabajo con ventanas de contexto acotadas está bien alineado con la conducción, donde las decisiones críticas típicamente dependen de señales de comportamiento dentro de 5-10 segundos. Creemos que este trabajo avanza el campo hacia una memoria efectiva para políticas VA/VLA, demostrando que la memoria de trabajo consciente de la tarea es clave para el razonamiento en escenarios diversos.
Trabajo Futuro: Si bien las ganancias en escenarios de conducción general son modestas, el trabajo futuro podría explorar escenarios de mayor complejidad con occlusiones severas o múltiples contendientes donde las observaciones preliminares sugieren mayores ganancias, así como mecanismos de memoria recurrente y arquitecturas eficientes alternativas como modelos de espacio de estado para extender la compresión alineada con la planificación a dominios más amplios de IA incorporada.
Preguntas Frecuentes
¿Qué problema resuelve COMPACT-VA? COMPACT-VA resuelve el problema de las políticas de conducción autónoma unificadas que carecen de memoria explícita o utilizan compresión basada en reglas que descarta el historial relevante para la decisión del contexto temporal extendido.
¿Cómo funciona la compresión alineada con la planificación? Acopla la compresión de tokens con la predicción de trayectorias utilizando un VQ-VAE condicional, asegurando que los tokens comprimidos retengan la información más relevante para las decisiones de conducción futuras en lugar de solo minimizar el error de reconstrucción.
¿Qué escenarios de conducción se benefician más de este enfoque? Las intersecciones controladas (paradas de cuatro direcciones, stop/ceda con oclusión y giros sin protección) muestran ganancias significativas porque el comportamiento correcto depende de recordar eventos de hace 5 a 10 segundos.
¿Cómo se compara COMPACT-VA con las líneas base de observación densa? COMPACT-VA supera tanto al muestreo disperso como a las líneas base de historial completo denso, logrando una mayor Tasa de Éxito de Avance (la métrica principal de corrección de decisión) mientras mantiene un presupuesto de tokens acotado adecuado para la implementación en tiempo real.