A partir de esta interfaz, el sistema de extremo a extremo utiliza únicamente un modelo compacto de visión-lenguaje como columna vertebral y salidas basadas en tokens. Un proceso automático de anotación de doble canal proyecta los objetivos de navegación en un espacio común de señalamiento. La compresión temporalmente consciente del historial visual conserva tanto el detalle reciente como el contexto de largo alcance dentro de un presupuesto acotado de tokens visuales. Un tokenizador de acciones basado en RVQ convierte trayectorias de corto horizonte en tokens del modelo lingüístico, que posteriormente una capa de ejecución transforma en controles específicos de cada plataforma. El entrenamiento intermedio de razonamiento encarnado, el ajuste fino supervisado con DAgger y el aprendizaje por refuerzo en línea alinean progresivamente percepción, razonamiento y control.
LightNav-0 se evalúa en 10 entornos públicos de simulación de navegación que abarcan navegación visual-lingüística guiada por instrucciones, navegación hacia objetos objetivo y seguimiento visual encarnado. Evaluaciones complementarias de señalamiento y VQA espacial examinan si la adaptación a la navegación preserva las capacidades originales de anclaje espacial del VLM. Además, demostraciones en el mundo real exploran la transferencia entre distintas morfologías robóticas, escenas exteriores y objetivos dinámicos. En conjunto, estos experimentos demuestran una hipótesis central: un VLM compacto puede proporcionar una base unificada y transferible para la navegación entre tareas y morfologías robóticas.
Cadena de pensamiento lingüística y visual
LightNav-0 combina el razonamiento explícito con el anclaje visual en una traza de longitud fija. Su prefijo de señalamiento de doble canal predice un punto de transitabilidad para el movimiento local viable y un punto de objeto correspondiente al objeto objetivo o a la ubicación de destino. Ambos se representan mediante tokens de cuadrícula de imagen específicos de cada canal, que aprovechan el anclaje espacial aprendido durante el preentrenamiento de la columna vertebral en lugar de sustituirlo. La misma representación permite la navegación visual-lingüística guiada por instrucciones, la navegación hacia objetos con vocabulario abierto y el seguimiento visual encarnado.
El prefijo se supervisa en el mismo espacio de tokens que la acción y tiene un coste constante de tokens por decisión. De este modo, conserva la interpretabilidad de un paso de razonamiento explícito sin la latencia de decodificación variable de una deliberación textual libre ni la necesidad de un segundo sistema de planificación.
Entrenamiento posterior mediante aprendizaje por refuerzo
El aprendizaje por refuerzo lleva mucho tiempo complementando a la imitación en la navegación encarnada, desde el entrenamiento distribuido a gran escala basado en políticas on-policy y sus sucesores con transformadores hasta el preentrenamiento por imitación seguido de un ajuste fino mediante aprendizaje por refuerzo. Esas políticas son específicas de cada tarea y actúan sobre un puñado de primitivas discretas, por lo que la probabilidad de una acción es inmediata y una ejecución resulta barata. Ninguna de las dos propiedades se conserva automáticamente cuando la política se convierte en un modelo generalista de visión-lenguaje-acción.
Las políticas que incorporan una cabeza continua recuperan precisión, pero pierden esa ventaja. SimpleVLA-RL mantiene, por ello, una política autorregresiva y proporciona recompensas basadas únicamente en el resultado, mientras que las políticas basadas en flujo deben reformular primero su proceso de eliminación de ruido como un proceso de decisión de Markov antes de poder aplicar gradientes de política.
Objetivo autorregresivo unificado
La navegación y los ejemplos auxiliares de VQA se entrenan con el mismo objetivo causal de modelo lingüístico.
El modelo minimiza la log-verosimilitud negativa de los tokens de salida supervisados condicionados al contexto de entrada.
Eficiencia del entrenamiento y la inferencia
La interfaz compacta y completamente autorregresiva permite agrupar muestras de longitud variable sin rellenar cada muestra hasta un máximo común. Aproximadamente 8,6 muestras se agrupan dinámicamente en cada secuencia de entrenamiento de 8.192 tokens.
Las operaciones fusionadas de codificación rotatoria de posiciones para la visión y una dimensión de la cabeza del modelo lingüístico alineada con un múltiplo de 8 reducen aún más la sobrecarga de los kernels y la memoria. Estas optimizaciones se aplican de manera uniforme porque el modelo no contiene módulos de acción específicos de ninguna tarea.
Datos de razonamiento encarnado
Once fuentes de VQA de una sola imagen proporcionan supervisión indexada. Tres colecciones independientes son SenseNova-SI Spatial, CLEVR Spatial VQA y SAT Spatial VQA. Las ocho restantes son VSTP-SI Depth Comparison, VSTP-SI Distance, VSTP-SI Scene Caption, VSTP-SI Measurement, VSTP-MI Correspondence, VSTP-MI Object–Object Relation, VSTP-MI Camera Motion y VSTP-MI Scene Caption.
Sus preguntas abarcan posición relativa, profundidad y distancia métricas, relaciones entre objetos, movimiento de la cámara, medición física, descripción de escenas y razonamiento orientado a la transitabilidad. Esta combinación enseña al modelo a recuperar tanto relaciones cualitativas —como izquierda/derecha y delante/detrás— como indicios cuantitativos necesarios para distinguir el espacio libre transitable de objetivos visualmente plausibles, pero geométricamente inválidos.
Datos de navegación
La mezcla de navegación guiada por instrucciones combina trayectorias expertas con cámaras aleatorizadas de R2R y RxR, rutas autodestiladas y datos de ScaleVLN. Las fuentes sintetizadas y autodestiladas aportan una diversidad de escenas e instrucciones considerablemente mayor que la que ofrecen por sí solos los corpus anotados por humanos.
En conjunto, las rutas expertas, sintetizadas y autodestiladas exponen al modelo tanto a una alineación lingüística detallada como a una amplia variación geométrica.
Bancos de pruebas de evaluación
La evaluación de navegación comprende 10 configuraciones de simulación agrupadas en tres familias de tareas. El seguimiento continuo de instrucciones se mide en las particiones validation-unseen de R2R y RxR. La navegación hacia objetos con vocabulario cerrado se evalúa en MP3D y HM3D v1/v2, mientras que la generalización con vocabulario abierto se mide en HM3D-OVON. El seguimiento visual encarnado se evalúa en las configuraciones STT y DT de EVT-Bench.
Todos los bancos de pruebas de navegación utilizan el mismo checkpoint, sin ajuste fino específico para cada banco.
INSIGHT-Bench
INSIGHT-Bench amplía la distribución de datos con entornos heterogéneos basados en mallas y en Gaussian splatting 3D. Contiene 1.683 escenas y 53.090 episodios de entrenamiento, además de 210 escenas y 1.097 episodios de evaluación. La composición de las fuentes de ambas particiones se detalla en el artículo.
Entrenamiento intermedio de razonamiento encarnado
La especialización por sí sola puede estrechar la competencia visual-lingüística general heredada de la columna vertebral. Por ello se adopta un currículo de especialización seguida de preservación: durante la etapa supervisada posterior, se vuelve a entrenar una mezcla reequilibrada de razonamiento encarnado junto con los datos de navegación.
Esta segunda etapa conserva las capacidades de señalamiento, anclaje espacial y razonamiento espacial adquiridas durante el entrenamiento intermedio de razonamiento encarnado, a la vez que las alinea con la generación de acciones encarnadas. El currículo resultante establece una base perceptiva y de razonamiento común antes de introducir la supervisión de navegación entre tareas.
Generalización entre dominios y en el mundo real
La interfaz espacial unificada se evalúa cualitativamente más allá de los dominios de simulación utilizados durante el entrenamiento. Estas demostraciones emplean el mismo checkpoint de LightNav-0, sin ajuste fino específico del dominio.
Como los entornos virtuales y físicos no comparten un espacio de acciones ni un protocolo de éxito estandarizados, las ejecuciones evalúan el alcance de la transferencia, pero no ofrecen una comparación cuantitativa entre bancos de pruebas.
Análisis de escalabilidad
El comportamiento al escalar difiere según la capacidad del modelo, el volumen de datos y la cobertura de entornos.
Aumentar la columna vertebral de 2B a 4B eleva la tasa de éxito de R2R y la longitud de trayectoria ponderada por éxito de 59,9/55,4 a 68,5/62,8, y la tasa de éxito de RxR y la longitud de trayectoria ponderada por éxito de 64,0/57,9 a 73,6/64,5. Esto corresponde a mejoras de 6,6–9,6 puntos en las cuatro medidas.
Escalar hasta 8B no resulta beneficioso de forma consistente: la tasa de éxito de R2R y la longitud de trayectoria ponderada por éxito disminuyen 1,6/0,5 puntos, y la tasa de éxito de RxR disminuye 0,5 puntos, aunque la longitud de trayectoria ponderada por éxito de RxR aumenta 2,0 puntos. Entre los checkpoints evaluados, el modelo 4B ofrece, por tanto, el mejor equilibrio entre capacidad y rendimiento. El resultado mixto de 8B indica que un mayor número de parámetros, por sí solo, no garantiza un mejor rendimiento de navegación a esta escala.
El escalado de datos produce mejoras monótonas, aunque con saturación. Pasar de 1/16 al conjunto completo de entrenamiento eleva la tasa de éxito de R2R y la longitud de trayectoria ponderada por éxito de 53,0/47,1 a 68,5/62,8, y la tasa de éxito de RxR y la longitud de trayectoria ponderada por éxito de 56,2/49,5 a 73,6/64,5. Estos resultados representan mejoras de 15,0–17,4 puntos.
La mayor parte de esta mejora se obtiene antes de la duplicación final: aumentar la fracción de datos de 1/2 al conjunto completo solo añade 0,8/0,9 puntos en R2R y 1,4/0,4 puntos en RxR. Así pues, los datos de entrenamiento adicionales siguen siendo beneficiosos en el intervalo evaluado, pero su rendimiento marginal disminuye a medida que el conjunto se aproxima a su escala completa.
Conclusión
Hay varias líneas que pueden ampliar este marco. En primer lugar, el modelo actual utiliza una única vía de decisión y no separa explícitamente el control local de alta frecuencia de la deliberación semántica más lenta. Un sistema dual podría combinar una política reactiva ligera para evitar obstáculos y corregir con frecuencia la trayectoria con un planificador VLM más lento, dedicado al razonamiento de largo horizonte.
En segundo lugar, un preentrenamiento más potente con vídeos a escala de Internet podría ampliar la cobertura de conceptos del mundo abierto y exponer al modelo a escenas, interacciones y patrones de movimiento más infrecuentes que los presentes únicamente en conjuntos de datos encarnados seleccionados.
Colaboradores y agradecimientos
- Infraestructura de entrenamiento: Qianli Ma, Ran Mei y Jia Wei
- Infraestructura de datos: Fei Huang, Shaoan Wang, Jingyi Xu, Yueyu Wang y Aocheng Luo
- Entrenamiento intermedio: Shaoan Wang y Fan Yang
- Ajuste fino supervisado: Shaoan Wang y Aocheng Luo
- Entrenamiento posterior: Aocheng Luo y Shaoan Wang
- Banco de pruebas: Fei Huang, Shaoan Wang, Jingyi Xu y Yueyu Wang
- Despliegue en el mundo real: Xiaoyang Wang, Jiangpeng Hu, Xuhao Liu, Hongming Chen, Yuanbin Shao, Yiyang Lin y Ziliang Li
- Redacción: Shaoan Wang, Tingxiang Fan, Aocheng Luo, Fei Huang, Liang Pan, Xinhang Liu y Yuntao Ma
- Dirección del proyecto: Tingxiang Fan y Shaoan Wang
Los autores agradecen a Bo Liang, Yuxuan Xie, Jiaxin Li y Tianwei Zhang sus contribuciones a la infraestructura inicial y a la exploración técnica de las primeras etapas. También agradecen a Shiyao Zhang y Shuqi Liao la grabación y edición de los vídeos del mundo real, y a Kaisong Chen el diseño de la portada.
Los autores agradecen a sus colaboradores de LimX Dynamics y Manycore Tech su apoyo en el despliegue físico y la simulación.
Preguntas frecuentes
¿Para qué está diseñado LightNav-0? LightNav-0 es un sistema de navegación generalista para seguir instrucciones, navegar hacia objetos objetivo y realizar seguimiento visual encarnado en distintas tareas y morfologías robóticas.
¿Cómo representa LightNav-0 los objetivos de navegación? Utiliza un prefijo de señalamiento de doble canal con puntos separados de transitabilidad y de objeto, representados como tokens de cuadrícula de imagen específicos de cada canal.
¿Qué bancos de pruebas se utilizan para evaluar el sistema? La evaluación abarca 10 configuraciones de simulación de navegación guiada por instrucciones, navegación hacia objetos con vocabulario cerrado y abierto, y seguimiento visual encarnado.
¿Qué tamaño de modelo ofrece el mejor equilibrio entre capacidad y rendimiento? Entre los checkpoints evaluados, el modelo 4B ofrece el mejor equilibrio entre capacidad y rendimiento.