NavWAM aprende un modelo conjunto de predicción acción-mundo que convierte la previsión visual en una política de bucle cerrado para navegación visual guiada por objetivos. Al representar observaciones futuras, valores de progreso hacia el objetivo y fragmentos de acción ejecutables en una secuencia latente compartida, NavWAM aprende percepción futura, estimación de progreso y generación de acciones como un único problema de predicción acoplado.
Previsión Visual y Selección de Acciones
Bajo observabilidad parcial, la navegación exitosa requiere dos habilidades acopladas: predecir cómo cambiará la vista después de moverse y elegir una acción que acerque al robot al objetivo. Las políticas directas aprenden esto como un único problema de predicción de acciones, eficiente en tiempo de prueba, pero el modelo no está entrenado explícitamente para predecir lo que verá tras ejecutar la acción.
Los NWM hacen explícita la predicción futura al predecir observaciones futuras condicionadas a acciones candidatas, pero aún requieren un procedimiento de selección de acciones separado para elegir qué acción candidata ejecutar. Esto crea una brecha entre la predicción directa de acciones y la predicción explícita del futuro.
De Modelos de Mundo de Navegación a NavWAM
El enfoque NWM muestra que la predicción de imágenes egocéntricas futuras puede apoyar la navegación mediante planificación basada en CEM, muestreando secuencias de acción candidatas, prediciendo sus observaciones futuras y seleccionando la trayectoria con mejor puntuación. Sin embargo, este pipeline aún trata la predicción futura y la selección de acciones como pasos separados: el modelo predice futuros posibles, mientras que un procedimiento externo decide qué futuro indica progreso hacia el objetivo y qué acción debe ejecutarse. Esta separación aumenta el cómputo en tiempo de prueba y hace que el comportamiento en bucle cerrado dependa del muestreo, puntuación y optimización de candidatos.
NavWAM aborda esta separación aprendiendo una predicción conjunta acción-mundo.
Método
NavWAM parametriza una política de navegación en bucle cerrado usando un modelo de mundo de video preentrenado. En lugar de usar el modelo solo para predecir vistas futuras para acciones planificadas externamente, NavWAM representa las variables necesarias para el control de navegación como un lienzo latente compartido. La observación actual, la imagen objetivo, el estado del robot, el fragmento de acción, las observaciones egocéntricas futuras y el valor de progreso hacia el objetivo se asignan a diferentes fotogramas latentes en la misma secuencia del transformer de difusión. Esto convierte la navegación guiada por objetivos en un problema conjunto de eliminación de ruido sobre percepción futura, estimación de progreso y movimiento ejecutable.
Lienzo Latente Acción-Mundo
Los fotogramas de imagen se codifican como latentes de video estándar a través del VAE causal. Las variables no imagen, incluyendo estados, fragmentos de acción y el valor escalar, se normalizan y se transmiten sobre la cuadrícula espacial latente. Sus predicciones se recuperan promediando las entradas sin ruido del fotograma correspondiente. Esto preserva la interfaz preentrenada del transformer de video mientras permite que un solo modelo prediga conjuntamente variables de navegación visuales y no visuales. Aunque el mismo lienzo podría extenderse a objetivos especificados por lenguaje o por objeto a través del fotograma objetivo o la interfaz de condicionamiento de texto, nos centramos en la navegación con imagen objetivo en este trabajo.
Objetivo de Entrenamiento
La pérdida de eliminación de ruido se aplica a los fotogramas generados del lienzo latente. La pérdida incluye un término de ponderación de difusión y está condicionada a máscaras de fotogramas observados, embeddings de condicionamiento y fotogramas latentes observados. Sobrepodemos el fotograma de acción en relación con los otros fotogramas de predicción para que la señal de acción de baja dimensión no sea dominada por la pérdida de reconstrucción de imagen de alta dimensión.
NavWAM no introduce cabezas de acción o valor separadas. En cambio, las acciones, estados y valores escalares se decodifican de sus correspondientes fotogramas latentes sin ruido. Así, la generación de acciones, la predicción de estados futuros, la predicción de vistas futuras y la estimación de valor se entrenan como partes del mismo objetivo de eliminación de ruido acción-mundo, en lugar de como pérdidas auxiliares añadidas a una política solo de acciones. Para la navegación, el fotograma de valor se entrena para representar el progreso hacia el objetivo en lugar de una recompensa genérica. Esto alienta al modelo a estimar si el estado futuro predicho acerca al robot al objetivo especificado.
Inferencia
NavWAM también admite un modo opcional de muestreo de mejor de N guiado por valor. En este modo, el modelo extrae N fragmentos de acción candidatos, evalúa sus futuros predichos y valores de progreso hacia el objetivo usando los modos auxiliares de modelo de mundo y valor, y ejecuta el fragmento con el valor predicho más alto. Este modo opcional no se usa en los resultados principales reportados. Todos los resultados principales reportados usan el modo de política predeterminado sin búsqueda de acciones estilo CEM.
Plataforma Robótica
La base es un Direct Drive Tech Diablo equipado con un marco impreso en 3D que sostiene una cámara Intel RealSense D455 RGB-D, un LiDAR Livox Mid-360, un NVIDIA Jetson AGX Orin y una batería dedicada para el Orin y el LiDAR. La plataforma se controla a través de ROS 2 mediante comandos cmd_vel estándar, que se utilizan para ejecutar los fragmentos de acción en el marco local predichos por NavWAM durante el despliegue.
Plan de Estudios de Entrenamiento
NavWAM se entrena en tres fases. Cada fase inicializa sus pesos desde la fase anterior y escribe un único punto de control utilizado en todo el artículo principal. El entrenamiento utiliza la división de solo éxito de las trayectorias del simulador hm3d generadas por la política de navegación, con demostraciones de rollout muestreadas junto con trayectorias de expertos. La fase hm3d utiliza un fragmento largo para exponer al modelo a la previsión visual a largo plazo del simulador.
Hiperparámetros de Entrenamiento
El objetivo de difusión sobrepondera el fotograma de acción en relación con los fotogramas de imagen futura mediante un multiplicador. El modelo se entrena bajo tres modos de condicionamiento: el modo de política condiciona sobre fotogramas observados y predice acción, estado futuro, imágenes futuras y valor; el modo de modelo de mundo también condiciona sobre el fotograma de acción; el modo de valor condiciona sobre todos los fotogramas excepto el escalar de valor en sí.
Conclusión
NavWAM aprende percepción futura, estimación de progreso y generación de acciones como un único problema de predicción acoplado. En evaluaciones, esta formulación conjunta mejora el rendimiento de navegación con respecto a las líneas base de modelos de mundo basados en planificación sin búsqueda de acciones estilo CEM en el modo de política predeterminado, se mantiene competitivo con una política de navegación directa más grande y se transfiere a la navegación con imagen objetivo en un robot real en bucle cerrado. Estos resultados sugieren que la predicción futura es más útil para la navegación de robots cuando se aprende junto con los objetivos de acción y valor que determinan el comportamiento en bucle cerrado, en lugar de tratarse como un módulo de planificación separado.
La evaluación se centra en la navegación con imagen objetivo en entornos interiores, y la evaluación más amplia sobre objetivos especificados por lenguaje o por objeto queda como trabajo futuro. El estudio en el mundo real tiene un alcance limitado, abarcando 24 episodios en bucle cerrado en cuatro entornos.
Preguntas Frecuentes
¿Qué hace diferente a NavWAM de los modelos de mundo de navegación tradicionales? NavWAM aprende una predicción conjunta acción-mundo que combina la predicción de observaciones futuras, la generación de acciones y la estimación de valor en un solo modelo de difusión, en lugar de tratar la predicción futura y la selección de acciones como pasos separados.
¿Cómo funciona el lienzo latente? Las variables no imagen como el estado del robot, los fragmentos de acción y los valores de progreso hacia el objetivo se normalizan y se transmiten sobre la cuadrícula espacial latente y se decodifican de sus correspondientes fotogramas latentes sin ruido, preservando la interfaz preentrenada del transformer de video.
¿Requiere NavWAM búsqueda de acciones estilo CEM en tiempo de prueba? No, el modo de política predeterminado usa una sola pasada de eliminación de ruido sin búsqueda de acciones estilo CEM, aunque hay disponible un modo opcional de muestreo de mejor de N guiado por valor.
¿Cuáles son las principales limitaciones de NavWAM? La evaluación se centra en la navegación con imagen objetivo en entornos interiores, el estudio en el mundo real se limita a 24 episodios en una plataforma, y el costo de inferencia está dominado por la longitud de la cadena de difusión.