Estudiamos esta cuestión en el paradigma representativo de diseño visión-lenguaje-acción (VLA), tal como se implementa en arquitecturas como ORION, cuya estructura permite plantearla con precisión mediante una perspectiva de logits en el espacio de trayectorias. El modelo comprime todo su plan en un único estado oculto, denominado token de planificación, que un planificador generativo decodifica para obtener puntos de paso futuros. Puesto que este vector constituye la única interfaz entre el razonamiento lingüístico y la acción, podemos determinar exactamente en qué momento del decodificador aparece la información que necesita el planificador.
Nuestro método extrae el token de planificación de cada capa intermedia y lo decodifica con el planificador nativo del modelo, asignando una puntuación a la trayectoria resultante. Se trata de un análogo, en el espacio de trayectorias, de la lente de logits. En lugar de medir qué podría codificar una capa mediante un decodificador entrenado, preguntamos qué obtiene el propio módulo posterior del modelo a partir de cada capa. Junto con la trayectoria, extraemos la intención de navegación discreta mediante un sondeo lineal.
Nuestros resultados empíricos indican que la intención semántica y la compatibilidad con el planificador nativo siguen dinámicas distintas a lo largo de la profundidad. La orden de navegación puede decodificarse linealmente desde el primer bloque del decodificador y sigue siendo altamente decodificable durante toda la red, aunque la orden nunca se proporcione al modelo como entrada textual. En cambio, el mismo token de planificación intermedio se vuelve progresivamente más compatible con el planificador nativo congelado y alcanza su menor error de trayectoria únicamente en el estado oculto final. Los decodificadores aprendidos de la capa 1 recuperan buena parte de esa diferencia, lo que demuestra que la curva del planificador congelado debe interpretarse como una medida de compatibilidad de la representación, no como una indicación de la primera aparición de información geométrica. Ampliamos este análisis a las cinco categorías de capacidades de Bench2Drive, donde la progresión de la compatibilidad con el planificador se mantiene constante.
Este diagnóstico por profundidad también motiva una prueba de poda: las capas que apenas rotan el token de planificación podrían eliminarse incluso cuando su decodificación nativa aislada sea deficiente. Ordenamos las capas según la desviación angular que inducen en el token de planificación, podamos el decodificador para trazar una frontera precisión-latencia —combinada con el tiempo de ejecución medido de un decodificador acortado físicamente— y desglosamos el error por categoría de capacidad. Con el tamaño de muestra evaluado, no se detecta estadísticamente ninguna degradación específica de una familia.
Contribuciones
- Una perspectiva basada en la cabeza nativa en el espacio de trayectorias para medir cómo las representaciones intermedias del token de planificación se vuelven compatibles con el planificador congelado desplegado, junto con un sondeo lineal de la intención de navegación.
- Un análisis por profundidad en cinco categorías de capacidades de Bench2Drive que muestra una decodificabilidad lineal temprana de la orden y una progresión constante de la compatibilidad con el planificador en el checkpoint de ORION evaluado.
- Un estudio de poda que demuestra que el coseno de entrada-salida del token de planificación es un criterio de eliminación mejor que la calidad de decodificación intermedia aislada: pueden eliminarse 8 de 32 capas con un aumento relativo aproximado del 5 % en el error de lazo abierto, lo que produce una aceleración medida del decodificador de 1,33 veces.
Dónde se desarrollan la intención y la compatibilidad con el planificador
El token de planificación contiene dos tipos de información que aparecen a distintas profundidades. El sondeo de la orden se encuentra al nivel del azar en el estado oculto 0, donde el token de planificación añadido aún carece de contexto. La precisión asciende al 97,7 % después del primer bloque del decodificador y alcanza un máximo del 98,6 %. Como la orden no se proporciona en el prompt, esto demuestra que la estructura relacionada con la orden se vuelve linealmente accesible tras interactuar con el contexto multimodal.
Preguntas frecuentes
¿Qué es el token de planificación? El token de planificación es un único estado oculto en el que el modelo comprime todo su plan antes de que un planificador generativo decodifique los puntos de paso futuros.
¿Cómo se mide la compatibilidad intermedia con el planificador? Se extrae el token de planificación de cada capa intermedia y se decodifica con el planificador nativo del modelo; después se evalúa la trayectoria resultante.
¿Cuándo se vuelve linealmente decodificable la intención de navegación? Se vuelve linealmente decodificable después del primer bloque del decodificador, cuando la precisión asciende al 97,7 %, y más adelante alcanza un máximo del 98,6 %.
¿Cuántas capas del decodificador pueden eliminarse en el estudio de poda? Pueden eliminarse ocho de 32 capas con un aumento relativo aproximado del 5 % en el error de lazo abierto, lo que produce una aceleración medida del decodificador de 1,33 veces.