Una de las principales causas de los errores de navegación es la dificultad para asociar las predicciones de movimiento con sus posibles resultados. La mayoría de los métodos predicen directamente puntos de ruta continuos a partir de observaciones visuales e instrucciones lingüísticas. Como su objetivo de entrenamiento penaliza únicamente el error de los puntos de ruta, al modelo le resulta difícil anticipar los resultados de sus propias acciones, lo que aumenta el riesgo de generar trayectorias potencialmente inseguras en un entorno 3D.
Verificamos experimentalmente la eficacia de ProtoVis-Nav en OpenUAV y HUGE-Bench. Los resultados muestran que ProtoVis-Nav mejora sustancialmente el rendimiento de navegación frente a sólidas líneas de base y permite una navegación continua de UAV más fiable.
Flujo general
ProtoVis-Nav utiliza Qwen3VL-2B-Instruct como modelo de visión y lenguaje (VLM). La entrada consta de observaciones RGB desde dos perspectivas (imágenes frontales e inferiores), una instrucción lingüística y el estado actual del UAV, que incluye el desplazamiento anterior y la posición actual. El backbone Qwen3VL permanece congelado, mientras que se entrenan los adaptadores LoRA insertados en el backbone y las nuevas cabezas de salida.
Para la imaginación visual, los tokens predicen prototipos de características, que se combinan mediante una ponderación lineal normalizada con softmax para generar una representación visual local de la región objetivo asociada al resultado. Esto anima al modelo a anticipar cómo debería ser el contexto visual pertinente antes de predecir la siguiente acción.
Por último, el token utiliza los tokens como contexto dentro del VLM. La cabeza de puntos de ruta combina su estado oculto con información cinemática del UAV para predecir el siguiente punto de ruta.
Estudio de variantes
Los estudios de variantes en la partición Test Seen analizan tres decisiones de diseño de ProtoVis-Nav: el objetivo de la imaginación visual, el diseño de la cabeza PVI y la cantidad de tokens .
Visualización espacial de PVI y atención del token de punto de ruta
Visualización espacial
Se visualizan dos ejemplos superponiendo el mapa de atención de PVI sobre la imagen actual. Los ejemplos de vuelo de crucero y aterrizaje relacionan el movimiento previsto del UAV con regiones visuales locales de las vistas frontal e inferior, respectivamente. En ambos casos, el máximo de atención se sitúa dentro de la región objetivo proyectada o cerca de ella. Esto sugiere que PVI se centra en regiones visuales pertinentes para el siguiente movimiento previsto del UAV.
Atención del token de punto de ruta
Se analiza la atención causal del token de punto de ruta en 1,000 fotogramas. Las matrices de atención se promedian entre fotogramas para resumir las interacciones entre los tokens de imagen, PVI y punto de ruta. La atención del token de punto de ruta se concentra en los tokens PVI. Mediante la atención causal, puede combinar este contexto visual relacionado con el movimiento con la instrucción y el estado del UAV. En conjunto, las visualizaciones y el análisis sugieren que PVI identifica evidencia visual local pertinente para la acción e influye en la representación del token de punto de ruta mediante la atención.
Análisis cualitativo
Los ejemplos cualitativos ilustran cómo ProtoVis-Nav navega hacia el objetivo. En uno de ellos, la instrucción describe un camión blanco estacionado en una calle desierta, rodeada de edificios de piedra de varias plantas. El UAV avanza gradualmente por la calle, ajusta su perspectiva en observaciones consecutivas y finalmente se detiene cerca del camión objetivo. Las observaciones secuenciales muestran que ProtoVis-Nav mantiene un contexto visual pertinente para el objetivo al predecir puntos de ruta pese a los cambios de perspectiva. Este resultado concuerda con la idea de que las características visuales prototípicas proporcionan un contexto útil para predecir puntos de ruta.
Limitaciones e impacto social
Pese a las mejoras, ProtoVis-Nav aún presenta dificultades en entornos aéreos complejos. Según las observaciones de los autores, la mayoría de los fallos se deben a colisiones, especialmente con árboles y obstáculos delgados como ramas, postes y cables. Estos obstáculos suelen ocupar una pequeña parte de la imagen y pueden estar parcialmente ocluidos o ser visualmente ambiguos. Esto dificulta estimar los límites de los obstáculos y el espacio libre disponible a partir de observaciones RGB.
En trabajos futuros se explorarán mecanismos más robustos de percepción y planificación con conciencia de los obstáculos, incluidos datos de profundidad o LiDAR, modelado explícito del riesgo de colisión y refinamiento de trayectorias anticolisión para una navegación más segura de UAV. La evaluación en bucle cerrado se realiza en simulación. En trabajos futuros se ampliará la validación a vuelos de UAV en el mundo real y a experimentos de hardware en el bucle para evaluar el rendimiento de la navegación en bucle cerrado bajo condiciones físicas de percepción y control.
ProtoVis-Nav podría beneficiar aplicaciones como la búsqueda y el rescate, la respuesta ante desastres y la inspección de infraestructuras al mejorar la navegación de UAV a partir de instrucciones lingüísticas. Al mismo tiempo, los sistemas de navegación de UAV pueden plantear problemas de seguridad, privacidad y protección si se implementan sin salvaguardas suficientes, por lo que deben utilizarse bajo supervisión humana y con restricciones de implementación.
Conclusión
ProtoVis-Nav es un marco de imaginación visual prototípica para la navegación de UAV mediante visión y lenguaje. Su idea clave consiste en fundamentar la predicción de puntos de ruta en el contexto visual local asociado al siguiente movimiento previsto, algo especialmente importante para los UAV, donde pequeños errores de movimiento 3D pueden provocar comportamientos de navegación inseguros.
ProtoVis-Nav imagina una representación visual local asociada al resultado del siguiente movimiento previsto del UAV. En concreto, predice prototipos de características y los combina linealmente para estimar la característica visual de la región objetivo, mientras que las representaciones de los tokens de prototipo aportan contexto para predecir puntos de ruta. Este diseño favorece una mejor alineación entre el contexto visual y las salidas de puntos de ruta. Los experimentos en OpenUAV y HUGE-Bench demuestran la eficacia de ProtoVis-Nav.
Agradecimientos y declaración de financiación
Este artículo recibió financiación de la Fundación Nacional de Ciencias Naturales de China (n.º U25A20434).
Supervisión de la parada
Se diseña una estrategia sencilla de supervisión de la parada para aprovechar la capacidad interna de fundamentación del VLM y decidir cuándo debe finalizar la navegación del UAV. La cabeza de parada se supervisa con una etiqueta suave que tiene en cuenta la distancia, lo que anima al VLM a fundamentar la decisión de detenerse en la observación visual actual y en la distancia al objetivo.
A partir del estado oculto de salida del token , una capa lineal seguida de una activación sigmoide predice la probabilidad de parada.
La probabilidad de parada se predice a partir del estado oculto del token .
Durante el entrenamiento, la etiqueta de supervisión se construye en función de la distancia entre la posición actual del UAV y la posición objetivo.
La etiqueta de supervisión suave depende de la distancia entre el UAV y el objetivo.
Esta etiqueta suave asigna un valor de 0.5 cuando el UAV está a 20 metros del objetivo. A medida que el UAV se acerca al objetivo, la etiqueta aumenta hacia 1; cuando se aleja, disminuye hacia 0. La cabeza de parada se entrena con entropía cruzada binaria.
Durante la inferencia, el UAV envía una señal de parada según la probabilidad de parada predicha.
La decisión de detenerse se toma utilizando la probabilidad de parada predicha.
Este diseño ofrece un objetivo de parada suave que tiene en cuenta la distancia y anima al modelo a detenerse solo cuando su fundamentación visual y lingüística indica que el UAV está suficientemente cerca del objetivo.
Preguntas frecuentes
¿Qué es ProtoVis-Nav? Es un marco de imaginación visual prototípica para la navegación de UAV mediante visión y lenguaje.
¿Qué entradas utiliza ProtoVis-Nav? Utiliza imágenes RGB frontales e inferiores, una instrucción lingüística y el estado actual del UAV, que incluye el desplazamiento anterior y la posición actual.
¿Cómo contribuye la imaginación visual a la predicción de puntos de ruta? Los tokens predicen prototipos de características que se combinan para formar una representación visual local asociada al resultado. Esta representación aporta contexto para predecir el siguiente punto de ruta.
¿Qué limitaciones señala el artículo? La mayoría de los fallos observados implican colisiones, especialmente con árboles y obstáculos delgados como ramas, postes y cables. La evaluación se realiza en simulación y la validación en el mundo real queda pendiente para trabajos futuros.