SatNav define tres familias de tareas —Perímetro, Hitos y Rutas— para evaluar aspectos complementarios de la navegación a largo plazo que exige mucha memoria: seguimiento del progreso en rutas circulares, referencia espacial basada en hitos y razonamiento secuencial sobre rutas.
Definición de las tareas
Las tareas de Perímetro requieren que el agente siga el contorno de un lago, un estadio o un complejo de edificios. Partiendo de un punto de este límite cerrado, el agente avanza por él y se detiene en el destino indicado por las instrucciones. Se definen tres variantes:
- Arco parcial: El agente se detiene antes de completar una vuelta entera.
- Vuelta completa: El agente se detiene al regresar al punto de partida tras completar una vuelta.
- Vuelta extendida: El agente pasa por el punto de partida y recorre un tramo adicional antes de detenerse.
Estas tareas evalúan el seguimiento del progreso a largo plazo y la precisión al detenerse, y requieren que el agente distinga entre visitas intermedias y la llegada final al destino.
Las tareas de Hitos requieren que el agente siga una ruta hasta un destino específico y utilice hitos visualmente distintivos para determinar el rumbo en los giros. En cada punto de giro, el agente rota hasta que el hito indicado aparece en la región especificada de su vista egocéntrica. Por ejemplo, «gira a la izquierda hasta que el estadio aparezca en la parte superior derecha de la vista y luego sigue adelante» usa la posición del estadio para indicar el rumbo deseado después del giro. El agente sigue las instrucciones restantes y se detiene en el destino. Las variantes de uno y dos giros evalúan la referencia espacial basada en hitos y el razonamiento espacial relativo.
Las tareas de Rutas requieren que el agente navegue por carreteras, vías fluviales o una combinación de ambas, siguiendo instrucciones que especifican cuándo girar o detenerse. El agente identifica intersecciones o cruces relevantes mediante indicaciones como «gira a la izquierda en el primer puente» o «detente en el tercer cruce». Según la composición de la ruta, las tareas se clasifican como solo carretera, solo vía fluvial e híbridas; las tareas híbridas combinan tramos de carretera y de vía fluvial. Estas tareas evalúan el seguimiento de rutas, la toma de decisiones en los cruces y la capacidad de localizar y contar sucesivos puntos de decisión a lo largo de trayectorias extensas.
Descripción general del marco SwiftVLN
SwiftVLN reestructura el flujo de entrenamiento y evaluación de StreamVLN dentro de ms-swift para crear una estructura flexible y extensible de navegación visual-lingüística (VLN). Permite sustituir y evaluar de forma controlada distintos diseños de memoria, a la vez que facilita la adaptación de diversos modelos grandes de visión y lenguaje (LVLMs) a la VLN.
Las observaciones históricas que quedan fuera de la ventana de contexto a corto plazo se procesan mediante un módulo de memoria a largo plazo para formar una representación del historial de navegación. Para facilitar las comparaciones controladas, SwiftVLN implementa el componente de memoria como un conjunto de mecanismos intercambiables:
- Muestreo de fotogramas del historial: Extrae observaciones anteriores mediante estrategias Uniform, Random o Temporal-Biased. El muestreo Temporal-Biased prioriza explícitamente los fotogramas recientes frente a los más distantes.
- Aumento de la entrada: La indicación con el fotograma inicial añade los tokens del primer fotograma al contexto del sistema como ancla visual estable para la escena de partida. La codificación de pose complementa cada fotograma visual con indicaciones de pose relativa para aportar información sobre el desplazamiento espacial y el rumbo.
- Compresión de memoria: Map Memory sustituye los fotogramas históricos sin procesar por mapas globales y locales construidos, codificados como un bloque de memoria compacto. Global Token Clustering (GTC) agrupa los tokens de todos los fotogramas conservados en una memoria global de capacidad fija. Segment Token Clustering (STC) divide el historial en un número fijo de segmentos temporales y agrupa cada segmento de forma independiente para preservar una estructura temporal aproximada.
En conjunto, estas variantes intercambiables permiten realizar ablaciones sistemáticas de arquitecturas de memoria.
Experimentos en el mundo real
Los vuelos demuestran que es viable desplegar en un UAV real un modelo de navegación entrenado con imágenes satelitales y adaptado visualmente de forma ligera. Las condiciones del mundo real siguen siendo desafiantes, en particular cuando las escenas locales son ambiguas o la ejecución es incierta, lo que pone de relieve que todavía se puede mejorar la transferencia de satélite a UAV.
Flujo detallado de Hitos
Los episodios de Hitos están diseñados para evaluar los giros guiados por hitos y el razonamiento espacial relativo. Los hitos candidatos se detectan mediante un proceso de localización de gruesa a fina sobre imágenes satelitales. Un recorte general de la escena aporta contexto global para identificar objetos o regiones visualmente distintivos; después, una cuadrícula más detallada verifica el hito seleccionado y estima su ubicación con mayor precisión. Esta jerarquía mantiene interpretable la entrada del VLM y permite localizar hitos a lo largo de trayectorias extensas.
Los puntos de referencia de la trayectoria se generan alrededor de los hitos conservados, respetando dos restricciones de ejecutabilidad:
- Los puntos de decisión se sitúan a menos de 30 m de los hitos asociados para que la indicación siga siendo visible en la observación local.
- Las longitudes de los tramos y los ángulos de giro se cuantizan según el espacio de acciones de SatNav, donde el agente avanza una distancia métrica fija y rota en incrementos angulares fijos.
Estas restricciones garantizan que la demostración generada pueda ejecutarse exactamente con la misma interfaz de acciones que se utiliza en la evaluación del modelo. Las instrucciones se generan ordenando los hitos a lo largo de la trayectoria y expresando cada decisión clave mediante indicaciones relativas a la vista, como girar hasta que un hito aparezca en una región específica de la observación.
Despliegue en el mundo real
El sistema se despliega en un DJI Matrice 4D para realizar pruebas de vuelo en el mundo real. Durante el despliegue, el flujo de imágenes a bordo y los mensajes de estado del UAV —incluidos la longitud, la latitud, la altitud y el rumbo— se transmiten a un controlador DJI RC Plus 2 mediante el sistema de transmisión de vídeo DJI OcuSync Enterprise. El controlador retransmite los datos a una estación de trabajo local por Wi-Fi, usando RTMP para la transmisión de vídeo y MQTT para la comunicación de estado y control.
En la estación de trabajo, la versión de referencia de SwiftVLN adaptada para la transferencia de satélite a UAV, basada en Qwen2.5-VL-3B, se ejecuta en una sola GPU RTX 4090 para realizar inferencias en línea.
La latencia entre el UAV y el controlador es prácticamente insignificante. El principal retraso se debe al envío del flujo de vídeo del controlador a la estación de trabajo mediante RTMP por Wi-Fi, que suele añadir 3–5 segundos de latencia debido al almacenamiento en búfer y a la variabilidad de la red. En cambio, la inferencia del modelo en una sola RTX 4090 tarda unos 250 ms de media, por lo que el canal de comunicación constituye el principal cuello de botella en tiempo de ejecución.
Resultados adicionales de vuelos reales
En pruebas adicionales de vuelo en el mundo real se analiza el comportamiento del modelo entrenado con imágenes satelitales durante su despliegue físico. Las pruebas abarcan las tres familias de tareas de SatNav: Perímetro, Hitos y Rutas. Los ejemplos de las tareas de Hitos y Rutas muestran al modelo realizando giros guiados por hitos y siguiendo rutas en escenas reales.
Agradecimientos y financiación
Este trabajo recibió financiación parcial de la Guangdong Basic and Applied Basic Research Foundation, mediante la subvención 2023A1515111151; de la Guangzhou Municipal District Science and Technology Bureau, mediante la subvención 2025A03J3655; de GDST, mediante la subvención C_2025_017; de BYD, mediante la subvención CP2025O007; y de fondos de investigación mediante la subvención 2023QN10X121.
Los autores agradecen a la Low-Altitude Intelligent Integrated Test Base de Longgang, Shenzhen, China, por proporcionar el lugar para los experimentos de vuelo real. También agradecen a Ziyi Chen, de Galbot, las conversaciones mantenidas durante las primeras etapas del proyecto, y a Shuo Sun y Lei Zhang, del Low Altitude Space Economy Research Center (LASER), International Digital Economy Academy (IDEA), su ayuda con el diseño de las figuras y los experimentos de vuelo real. A Chao Wang y Jiayang Sun, de LASER, IDEA, les agradecen el mantenimiento de los recursos informáticos y la ayuda para resolver problemas durante su uso.
Preguntas frecuentes
¿Qué tareas de navegación evalúa SatNav? SatNav abarca las tareas de Perímetro, Hitos y Rutas, y evalúa el seguimiento del progreso, la referencia espacial basada en hitos y el razonamiento secuencial sobre rutas.
¿Cuáles son las tres variantes de las tareas de Perímetro? Son las tareas de arco parcial, vuelta completa y vuelta extendida, que se distinguen por el punto en que el agente se detiene con respecto a completar la vuelta y pasar por el punto de partida.
¿Cómo garantiza el flujo de Hitos que las demostraciones sean ejecutables? Los puntos de decisión se sitúan a menos de 30 m de los hitos, y las longitudes de los tramos y los ángulos de giro se cuantizan según el espacio de acciones de SatNav.
¿Cuál es el principal cuello de botella en tiempo de ejecución durante el despliegue en el mundo real? El envío del vídeo del controlador a la estación de trabajo suele añadir 3–5 segundos de latencia. La inferencia del modelo tarda unos 250 ms de media.