Modelos visión-lenguaje para la navegación encarnada
El rápido progreso de los modelos de lenguaje de gran escala (LLM) y de los modelos visión-lenguaje (VLM) ha impulsado significativamente la inteligencia artificial encarnada, al permitir que los robots razonen sobre entornos complejos mediante instrucciones en lenguaje natural. En lugar de depender exclusivamente de representaciones geométricas, estos modelos proporcionan comprensión semántica, percepción con vocabulario abierto y razonamiento contextual, lo que permite a los agentes ejecutar tareas que van más allá de los objetivos de navegación tradicionales.
Los modelos fundacionales recientes han demostrado capacidades encarnadas cada vez más generales. HabitatGS amplía AI Habitat con escenas fotorrealistas generadas mediante Gaussian Splatting y pobladas por personas dinámicas, proporcionando un banco de pruebas más realista para el razonamiento encarnado. Los modelos fundacionales encarnados, como EmbodiedFM, se entrenan con millones de demostraciones de navegación procedentes de múltiples dominios robóticos —entre ellos robots domésticos, drones y vehículos autónomos— y muestran una sólida generalización de cero ejemplos en diversas tareas de navegación.
Varios trabajos también han investigado la navegación guiada por el razonamiento. OctoNav introduce un paradigma de pensar antes de actuar, en el que las políticas de navegación se entrenan a partir de pares de instrucciones y trayectorias mediante aprendizaje por refuerzo. NavR1 incorpora además Group Relative Policy Optimization junto con supervisión de Chain-of-Thought para aprender conjuntamente diálogo, planificación, razonamiento y navegación. Estos métodos demuestran que el razonamiento explícito mejora la toma de decisiones encarnada, aunque por lo general requieren amplios conjuntos de datos de entrenamiento y modelos fundacionales con un elevado coste computacional.
A diferencia de estos enfoques, OptiSight no necesita aprendizaje de políticas de extremo a extremo ni grandes conjuntos de datos de navegación. En su lugar, utiliza VLM preentrenados únicamente para la percepción semántica y el razonamiento de alto nivel, mientras delega la generación continua del movimiento en un control geométrico determinista.
Navegación semántica hacia objetos y objetivos
La navegación hacia objetos se ha convertido en un banco de pruebas fundamental para la IA encarnada. En ella, los agentes deben localizar objetos especificados mediante categorías semánticas en lugar de coordenadas predefinidas. OVON amplió considerablemente este escenario al introducir más de 15.000 instancias de objetos y demostrar la navegación hacia objetos con vocabulario abierto mediante representaciones semánticas.
Los trabajos posteriores se han centrado en mejorar la eficiencia de la navegación mediante razonamiento aumentado con memoria. EfficientNav combina la planificación de LLM de cero ejemplos con la recuperación de memoria semántica y la agrupación de recuerdos para reducir el razonamiento repetido y la latencia de inferencia. Los marcos de razonamiento jerárquico, como HiRobot, descomponen instrucciones complejas de los usuarios en subobjetivos jerárquicos e incorporan sus comentarios para perfeccionar los planes de navegación.
Aunque estos enfoques mejoran la navegación semántica, normalmente dependen de inferencias repetidas de LLM o VLM durante la ejecución, lo que incrementa la carga computacional. En cambio, OptiSight invoca el razonamiento semántico únicamente en puntos de decisión críticos y mantiene la navegación continua mediante servoing visual ligero, reduciendo sustancialmente la latencia.
Fundamentación semántica y razonamiento Chain-of-Thought
Más allá de la navegación, también se han explorado paradigmas de razonamiento similares para la manipulación robótica. ALRM combina un razonamiento de estilo ReAct con la generación de código ejecutable y la planificación basada en herramientas para realizar tareas de manipulación de larga duración.
Aunque estos métodos demuestran las ventajas del razonamiento explícito, muchos consultan continuamente grandes VLM durante la ejecución de las tareas, lo que se traduce en un coste computacional y una latencia de inferencia considerables. En cambio, OptiSight adopta una arquitectura Chain-of-Thought guiada por estados, en la que el razonamiento semántico se invoca únicamente en transiciones de estado clave dentro de una máquina de estados finitos, mientras que el movimiento continuo de bajo nivel se gestiona mediante servoing visual determinista. Esta separación entre el razonamiento de alto nivel y el control geométrico permite una navegación explicable y, al mismo tiempo, mantiene el rendimiento en tiempo real en plataformas robóticas con recursos limitados.
Metodología
OptiSight es un marco de navegación autónoma de lazo cerrado que integra razonamiento mediante modelos visión-lenguaje, fundamentación de objetos con vocabulario abierto, proyección geométrica y control determinista del movimiento. En su implementación actual, el sistema está diseñado para ejecutar la instrucción de navegación de alto nivel «Sal de la habitación». Para llevar a cabo esta tarea, el marco descompone la instrucción en una secuencia de etapas de razonamiento semántico y navegación geométrica.
Durante el estado Navigate, la cámara mantiene una orientación hacia abajo para supervisar continuamente la ruta planificada, mientras que los comandos de dirección proporcionales guían al robot a lo largo de una secuencia de puntos de paso 3D. Los puntos de paso se generan a partir de la trayectoria planificada y se descartan secuencialmente cuando el robot se aproxima a una distancia inferior a el umbral de distancia especificado del punto de paso objetivo actual, lo que garantiza un seguimiento fluido de la trayectoria y una ejecución estable del movimiento. Si se pierde el objetivo semántico o la ruta planificada deja de ser válida, la FSM pasa al estado Recover, donde el VLM vuelve a invocarse para restablecer el objetivo de navegación antes de reanudar el flujo de ejecución.
En las subsecciones siguientes se describen las operaciones realizadas en cada estado de la máquina de estados finitos y la implementación real del método propuesto.
Máquina de estados finitos
Find
Una vez detectado el objetivo, el marco pasa al estado Find, donde Grounded-SAM realiza una localización con vocabulario abierto para obtener una segmentación precisa del objetivo. Para mejorar la estabilidad de la localización, la segmentación se refina mediante hasta tres pasadas consecutivas de inferencia, produciendo una región delimitadora uniforme y con poco ruido. A continuación, las coordenadas de la imagen resultantes se proyectan en el sistema de referencia 3D de la cámara mediante el modelo de proyección geométrica, con lo que se obtiene la ubicación espacial del objetivo de navegación. Tras una proyección satisfactoria, el sistema pasa al estado Scan.
Arquitectura de ejecución con doble aislamiento
OptiSight adopta una arquitectura de ejecución con doble aislamiento que separa el razonamiento semántico de la navegación geométrica en dos entornos de ejecución independientes. Ambos entornos se comunican mediante una interfaz ligera basada en sockets, lo que permite que cada componente opere con su propia pila de software e intercambie únicamente la información necesaria para la navegación.
El primer entorno ejecuta Habitat-Sim junto con el flujo de navegación geométrica, incluida la máquina de estados finitos, el control de la cámara, la proyección geométrica, la planificación de rutas, la generación de puntos de paso y el control del movimiento. El segundo entorno aloja el modelo visión-lenguaje y el flujo de inferencia de Grounded-SAM, responsables del razonamiento semántico y la localización de objetos con vocabulario abierto.
La comunicación entre ambos entornos es asíncrona. Cuando se necesita razonamiento semántico, el módulo de navegación envía la observación actual y la instrucción de la tarea al servidor VLM, que realiza la inferencia de forma independiente y devuelve la predicción semántica resultante. Como el VLM solo se consulta en los puntos de decisión semántica definidos por la máquina de estados finitos, la navegación geométrica continúa sin interrupciones mientras el razonamiento se ejecuta en segundo plano. Una vez recibida la respuesta, la máquina de estados finitos reanuda la ejecución utilizando la información semántica inferida.
Esta arquitectura aísla las dependencias de los marcos robóticos y de los VLM, lo que permite utilizar modelos multimodales modernos junto con software robótico heredado sin problemas de compatibilidad. Además, separar la inferencia semántica del control geométrico mejora el aprovechamiento de los recursos y permite que el sistema completo funcione dentro de un presupuesto de 8 GB de VRAM, adecuado para su despliegue en plataformas periféricas con recursos limitados, como NVIDIA Jetson.
Experimentos
Los escenarios seleccionados están diseñados para evaluar la robustez de OptiSight ante seis desafíos representativos de navegación:
- Evitación de un único obstáculo.
- Razonamiento ante dos obstáculos.
- Desambiguación semántica entre objetos estructuralmente similares.
- Observabilidad parcial que requiere una búsqueda visual activa.
- Puntos de vista extremos que producen distorsiones geométricas.
- Ambigüedades perceptivas causadas por superficies reflectantes.
Los tres primeros tipos de escenarios evalúan principalmente la navegación y la fundamentación semántica, mientras que los tres últimos se centran en la percepción y las ambigüedades geométricas que pueden poner a prueba el razonamiento basado en VLM. Por tanto, este conjunto de escenarios ofrece una evaluación diversa tanto de los componentes semánticos como de los geométricos del marco propuesto.
Evaluamos OptiSight mediante las siguientes métricas:
- Éxito de la misión: Indicador binario de si el objetivo de navegación se completa correctamente. Un escenario se considera satisfactorio si la misión se completa en al menos la mitad de las ejecuciones independientes.
- Tasa de éxito: Porcentaje de ejecuciones satisfactorias entre las pruebas.
- Tiempo de ejecución: Tiempo necesario para completar la tarea de navegación, medido en segundos.
- Distancia total: Distancia acumulada recorrida por el agente, medida en metros.
- Número total de pasos: Número total de transiciones de estado, acciones y pasos de movimiento registrados durante la ejecución.
- Colisiones: Número de colisiones físicas con obstáculos del entorno.
- Recuperaciones: Número de procedimientos de recuperación o evitación de obstáculos activados durante la navegación.
- Solicitudes al VLM: Número de llamadas de inferencia al VLM realizadas durante un episodio de navegación.
- Distancia mínima al obstáculo: Distancia euclídea mínima, en metros, entre el agente y cualquier obstáculo 3D detectado durante la navegación.
En conjunto, estas métricas caracterizan tanto el rendimiento a nivel de tarea como el comportamiento interno del sistema. La tasa de éxito, el tiempo de ejecución y la distancia recorrida miden la eficacia de la navegación, mientras que las colisiones y la distancia mínima a los obstáculos cuantifican la seguridad. Las solicitudes al VLM, los fallos de análisis y las acciones de recuperación proporcionan medidas adicionales de robustez computacional y operativa.
Conclusiones
OptiSight es un marco híbrido de navegación autónoma que combina el razonamiento selectivo de modelos visión-lenguaje con la navegación geométrica determinista. Al integrar una máquina de estados finitos, la fundamentación de objetivos basada en Grounded-SAM y la proyección geométrica de imagen a 3D, OptiSight traduce instrucciones semánticas de alto nivel en acciones de navegación ejecutables, evitando la inferencia continua de VLM y los costosos flujos de mapeo computacional.
La evaluación en AI Habitat, realizada en 24 escenarios de navegación interior, demuestra que OptiSight puede gestionar correctamente diversas condiciones de navegación, como la evitación de obstáculos, la ambigüedad semántica, la observabilidad parcial y los puntos de vista difíciles, utilizando únicamente un número limitado de consultas al VLM. Estos resultados ponen de relieve el potencial de combinar el razonamiento semántico con un control geométrico ligero para lograr una navegación encarnada eficiente.
El trabajo futuro se centrará en ampliar el marco a un conjunto más amplio de tareas de navegación y en validar OptiSight en plataformas robóticas físicas.
Preguntas frecuentes
¿Qué es OptiSight?
OptiSight es un marco de navegación autónoma de lazo cerrado que combina el razonamiento semántico basado en VLM con un control geométrico determinista.
¿Cómo reduce OptiSight la carga computacional de los VLM?
Invoca el razonamiento semántico únicamente en puntos de decisión críticos, mientras que la navegación continua se gestiona mediante servoing visual ligero.
¿Qué separa la arquitectura con doble aislamiento?
Separa el flujo de navegación geométrica de Habitat-Sim del flujo de inferencia semántica del VLM y Grounded-SAM.
¿Qué condiciones de navegación se evaluaron?
La evaluación incluyó evitación de obstáculos, ambigüedad semántica, observabilidad parcial, puntos de vista extremos y ambigüedades causadas por superficies reflectantes.