Los modelos visión-lenguaje han convertido el control visual sin ejemplos previos en una posibilidad atractiva para los sistemas autónomos conectados en red. Un único modelo preentrenado, guiado mediante lenguaje natural, promete sustituir una cadena de percepción y planificación diseñada a mano; además, el mismo modelo puede ejecutarse en un acelerador embarcado o en un servicio alojado accesible a través de la red. Ambas opciones son ya viables, y elegir entre ellas es una cuestión de sistemas que implica latencia, consumo energético y costes recurrentes.
Sin embargo, esa cuestión de sistemas presupone otra anterior que rara vez se plantea: ¿utiliza realmente el controlador la cámara?
La preocupación es concreta. Los benchmarks de conducción simulada premian el avance y penalizan las colisiones. En esos entornos, una política que siempre desacelera puede acercarse al óptimo sin necesitar percepción alguna. Si un controlador VLM emite una acción casi constante, las métricas agregadas informarán de una competencia que el modelo no posee; como consecuencia, la decisión de despliegue —en el dispositivo o en la nube, qué modelo elegir y a qué coste— se tomará a partir de datos que miden el simulador, no el modelo.
Hacemos medibles tanto el fallo como su frontera de utilidad mediante:
- Una batería de ablaciones de entrada con controles ciegos, un suelo de ruido, reflexión respecto al eje del carril, políticas de referencia y cuatro salvaguardas de integridad del pipeline.
- Evidencia de que ni las puntuaciones globales ni la sofisticación del procesamiento posterior certifican la percepción: las constantes pueden superar a los scripts, y la intención visual reduce una jerarquía MPC de un objetivo de control de mayor dimensionalidad a un conjunto más reducido de metas.
- Una estructura de capacidades graduada en la que el reconocimiento longitudinal de peligros puede recuperarse pese al fallo de la geometría lateral, mientras que la formulación del prompt modifica de forma notable el anclaje visual medido.
Contexto y trabajos relacionados
La inferencia embarcada limita la latencia y mantiene los datos en local, pero consume memoria y energía limitadas. La inferencia alojada permite utilizar modelos más grandes, a cambio de la latencia de red, los cargos recurrentes y un menor control sobre la pila tecnológica. Comparamos ambas modalidades con estímulos idénticos.
El consumo energético local puede observarse directamente; el consumo del servicio alojado no puede deducirse de la API.
Modelos
La rama local estructurada utiliza Qwen3-VL-8B, Gemma 4-12B, Qwen3.5-9B, Qwen2.5-VL-7B, Ministral 3-8B y MiniCPM-V-4.5. Las compilaciones Q4_K_M registradas de Ollama 0.32.5 se ejecutan secuencialmente en una única A100-80GB.
El preflight fija un modo de solicitud por modelo. Se publican los resúmenes criptográficos exactos y las plantillas.
Controlador constructivo calibrado mediante el renderizador
El controlador estructurado opera sobre una representación cenital calibrada, con una referencia explícita del vehículo propio y una convención de carril definida. Además del fotograma del simulador publicado, proporcionamos una vista con leyenda y evaluamos la consistencia simétrica reflejando la escena respecto al eje del carril.
Guardián longitudinal basado en consenso de simetría
Reutilizamos las llamadas locales ya completadas en un análisis post hoc, pero controlado para evitar filtraciones. El conjunto de admisión preexistente de 16 fotogramas selecciona dos de los seis modelos y un umbral sobre cuatro votos de peligro. Dos modelos evalúan las vistas original y reflejada, y ambas selecciones quedan congeladas antes de leer los otros 272 fotogramas.
Una división 2–2 permite abstenerse. El bootstrap por agrupación de episodios y las pruebas anidadas dejando un episodio fuera miden la incertidumbre y la estabilidad de la selección.
En la reproducción modular offline, los VLM reciben únicamente autoridad longitudinal, mientras que un parser determinista de RGB conserva la autoridad sobre las colisiones y la distancia lateral de seguridad.
Debate y conclusión
Los experimentos con MPC aclaran la frontera de esta estrategia modular. Un optimizador competente de bajo nivel puede ejecutar con precisión una referencia válida y aprovechar una geometría de obstáculos conocida, pero no puede reconstruir una geometría ausente de la intención visual de alto nivel.
Por tanto, añadir MPC después del VLM mejora el seguimiento, no el anclaje visual: las directrices VLM colapsadas o unilaterales siguen colapsadas después de la optimización.
La conclusión arquitectónica adecuada no es descartar los VLM, sino limitar su autoridad a capacidades que puedan validarse de forma independiente. En el contexto actual, los VLM resultan más creíbles como monitores selectivos de peligros longitudinales, mientras que la geometría métrica, la aplicación de restricciones y el accionamiento deben quedar en manos de componentes deterministas o verificables por otros medios.
Disponibilidad del código
Todo el código, los datos y los artefactos experimentales están disponibles públicamente en el repositorio VLControl. El repositorio contiene el pipeline de evaluación completo, incluida la batería de ablaciones de entrada, los controladores locales estructurados, los experimentos con MPC y el guardián basado en consenso de simetría.
Preguntas frecuentes
¿Qué pregunta central plantea el estudio sobre los controladores visión-lenguaje? Pregunta si el controlador utiliza realmente la cámara, en lugar de limitarse a obtener métricas globales favorables de control.
¿Por qué pueden parecer competentes las políticas de acción constante en los benchmarks de conducción simulada? Porque se premia el avance y se penalizan las colisiones: una política que siempre desacelera puede acercarse al óptimo sin utilizar percepción.
¿Qué función cumple el componente MPC? El MPC mejora el seguimiento de una intención visual válida, pero no puede reconstruir la geometría ausente de la directriz VLM de alto nivel.
¿Para qué capacidades se considera que los VLM son más fiables en este contexto? Se consideran más fiables como monitores selectivos de peligros longitudinales, mientras que la geometría, las restricciones y el accionamiento permanecen en componentes deterministas o verificables.