Conjunto de datos del mundo real
Para capturar comportamientos de vuelo expertos, los autores crean UAV-Flow mediante la recopilación y anotación de demostraciones de vuelo en el mundo real.
Anotación de instrucciones
Las anotaciones lingüísticas se crean mediante un proceso con controles de calidad. Primero, los anotadores filtran los clips con comportamientos ambiguos, ejecuciones inseguras, relaciones espaciales poco claras o semánticas de movimiento incoherentes. A continuación, asignan comandos concisos que describen el movimiento previsto y, cuando es necesario, la relación espacial con un objeto visible.
Para facilitar la anotación estandarizada y el procesamiento eficiente de los datos, UAV-Flow adopta un conjunto fijo de comandos para las etiquetas canónicas de las tareas. También crea un conjunto de comandos de vocabulario abierto mediante paráfrasis de las anotaciones canónicas con modelos de lenguaje grandes. El conjunto de datos resultante del mundo real contiene 30,692 trayectorias de ocho categorías principales de movimiento, junto con vídeos egocéntricos, estados de UAV alineados e instrucciones.
Análisis de datos
UAV-Flow y UAV-Flow-Sim ofrecen una cobertura complementaria para la formulación Flow. El conjunto de datos del mundo real contiene 30,692 trayectorias pilotadas por expertos en ocho categorías principales de movimiento, que capturan diversos contextos visuales, estilos de control humano y dinámicas físicas de UAV ejecutadas. El conjunto de datos de simulación contiene 10,109 trayectorias generadas con formatos de instrucciones y estados equiparados, lo que permite realizar pruebas controladas y optimizar políticas mediante simulación.
Los autores también crean un conjunto de prueba de simulación con 273 trayectorias anotadas, que abarca todos los tipos principales de acción del conjunto de datos para facilitar la evaluación sistemática de la tarea Flow. Cada episodio de prueba especifica su etiqueta de tarea, estado inicial, instrucción, trayectoria de referencia y criterios de finalización específicos de la tarea, lo que establece un protocolo reproducible para la evaluación en lazo cerrado.
Preentrenamiento híbrido por imitación
La política se preentrena mediante imitación con una combinación de demostraciones de vuelo reales de UAV-Flow y demostraciones simuladas de UAV-Flow-Sim. Ambas fuentes siguen un formato de episodio unificado y se amplían para generar muestras a nivel de fotograma. El conjunto de datos de preentrenamiento comprende aproximadamente 20,000 trayectorias de demostración.
Las demostraciones del mundo real aportan diversidad visual auténtica de exteriores, estocasticidad de los sensores y dinámicas de movimiento físico. Las demostraciones simuladas ofrecen una cobertura controlable y escalable de las maniobras Flow y las configuraciones de tareas. El entrenamiento conjunto con estas fuentes de datos complementarias permite que la política convierta observaciones visuales egocéntricas, estados de UAV e instrucciones en lenguaje en bloques de acciones futuras.
Para cada muestra de entrenamiento, el bloque futuro de acciones del experto se convierte en etiquetas categóricas mediante normalización y discretización, y la predicción de acciones se supervisa con entropía cruzada categórica. La pérdida se promedia sobre el número de pasos futuros y las cuatro dimensiones de acción:
La acción experta normalizada se asigna al intervalo discreto de acción correspondiente.
La política preentrenada predice bloques de acciones de UAV a corto plazo condicionados por instrucciones en lenguaje. Se utiliza como política para la posterior evaluación en lazo cerrado y como punto de partida para el posentrenamiento mediante aprendizaje por refuerzo.
Despliegue en el mundo real
Para desplegar la política entrenada en un UAV físico, los autores utilizan una arquitectura de ejecución colaborativa entre una estación terrestre y un dron. Debido a los recursos informáticos limitados a bordo, la inferencia VLA se realiza en la estación terrestre. El UAV transmite imágenes egocéntricas y estimaciones de estado a la estación terrestre mediante un enlace inalámbrico. A partir de las observaciones recibidas y de la instrucción en lenguaje, la estación terrestre genera bloques de acciones, los convierte en objetivos de control y los transmite al UAV para que los ejecute su controlador de vuelo a bordo.
La política genera acciones de posición y guiñada en un marco de coordenadas local. La capa de ejecución decodifica las predicciones discretas en acciones continuas y convierte progresivamente cada bloque de acciones en puntos de ruta de posición y guiñada, utilizando la pose del UAV asociada a la observación de entrada.
Experimentos
FlowVLA se evalúa mediante simulación en lazo cerrado, estudios de ablación y despliegue de un UAV físico. En primer lugar, los experimentos comparan la política preentrenada con líneas base adaptadas y evalúan los efectos del posentrenamiento con GRPO y TGRPO sobre la finalización de tareas y la similitud de las trayectorias. A continuación, los estudios de ablación comparan distintos algoritmos de aprendizaje por refuerzo y examinan los efectos de la composición de los datos de entrenamiento, la representación de acciones y la selección de características de VLM. Por último, el artículo presenta ejemplos de ejecución de vuelo en escenas reales exteriores e interiores.
Modelos de referencia
Los autores seleccionan cinco métodos representativos como modelos de referencia y los adaptan a la tarea Flow. Todos se entrenan mediante aprendizaje por imitación con las mismas demostraciones simuladas, y sus componentes VLM se ajustan con LoRA. Para ofrecer una interfaz común de ejecución en lazo cerrado, las salidas de cada modelo se convierten en comandos locales de posición y guiñada, y se ejecutan mediante el mismo controlador del simulador.
FlowVLA designa la política obtenida mediante preentrenamiento por imitación con demostraciones mixtas del mundo real y simuladas. FlowVLA-GRPO y FlowVLA-TGRPO designan variantes que reciben posentrenamiento mediante aprendizaje por refuerzo a partir de esta política, con los algoritmos correspondientes.
Para examinar tanto la eficiencia de optimización como el rendimiento en estas tareas, se evalúan todas las políticas con el conjunto de prueba completo. La evaluación cuantifica las mejoras de rendimiento en las cuatro tareas de entrenamiento con aprendizaje por refuerzo, así como la conservación de capacidades en las tareas restantes.
Estudios de ablación
Las curvas de entrenamiento ilustran además el rendimiento de los métodos a lo largo del entrenamiento. En general, la tasa de éxito aumenta con FlowVLA-GRPO y FlowVLA-GDPO, mientras que GSPO se mantiene cerca del 90% en las últimas etapas del entrenamiento y DAPO disminuye considerablemente. FlowVLA-GRPO mantiene un NDTW relativamente alto en las últimas etapas, mientras que FlowVLA-GDPO y FlowVLA-GSPO muestran descensos.
El deterioro del rendimiento en las últimas etapas de FlowVLA-DAPO y FlowVLA-GSPO podría deberse en parte a que no cuentan con regularización KL respecto a la política de referencia, ya que sus actualizaciones no limitan explícitamente la desviación acumulada con respecto a la política de referencia preentrenada.
Efecto de los datos de entrenamiento mixtos
La incorporación de demostraciones de vuelo reales aumenta la tasa media de éxito de FlowVLA del 73.14% al 75.58%, una mejora de 2.44 puntos porcentuales. El NDTW medio también aumenta ligeramente, de 0.399 a 0.402. Estos resultados indican que, además de facilitar el aprendizaje directo de políticas para el mundo real, las demostraciones de vuelos físicos aportan señales de entrenamiento complementarias a los datos simulados y mejoran el éxito de las tareas en lazo cerrado en simulación.
Evaluación del despliegue en el mundo real
Siguiendo el esquema de despliegue descrito anteriormente, los autores despliegan una política VLA en un UAV físico y evalúan su capacidad para ejecutar instrucciones en lenguaje durante vuelos en lazo cerrado, en escenas exteriores e interiores.
Durante el vuelo, el UAV transmite continuamente imágenes egocéntricas y estimaciones de estado a la estación terrestre, que predice bloques de acciones. La capa de ejecución convierte las predicciones en comandos de puntos de ruta, selecciona puntos de ruta anticipados según la latencia de extremo a extremo y los envía al controlador de vuelo. Esto mantiene un vuelo continuo en lazo cerrado a pesar de los retrasos de comunicación e inferencia de la política.
Agradecimientos
Esta investigación cuenta con el apoyo parcial del Programa Nacional Clave de I+D de China (n.º de subvención 2024YFF1401400), el Fondo Científico para Grupos de Investigación Creativa (n.º T2621006), la Fundación Nacional de Ciencias Naturales de China (n.º U23B2010, 62461160308, 62576024), los Fondos de Investigación Fundamental para las Universidades Centrales (n.º 501RCQD2025141003) y el Proyecto BeiHang GanWei (n.º 502GWXM2024141001).
Plataformas de UAV físicos
La ejecución física se prueba en entornos interiores y exteriores con dos plataformas de UAV: una plataforma UAV P600 y un DJI Tello.
Preguntas frecuentes
¿Qué incluye el conjunto de datos de UAV-Flow del mundo real? Contiene 30,692 trayectorias de ocho categorías principales de movimiento, junto con vídeos egocéntricos, estados de UAV alineados e instrucciones.
¿Cuántas trayectorias hay en el conjunto de datos y el conjunto de prueba de simulación? UAV-Flow-Sim contiene 10,109 trayectorias, y el conjunto de prueba de simulación contiene 273 trayectorias anotadas.
¿Qué combina el preentrenamiento híbrido por imitación? Combina demostraciones de vuelo reales de UAV-Flow con demostraciones simuladas de UAV-Flow-Sim, en un conjunto de datos de preentrenamiento de aproximadamente 20,000 trayectorias.
¿Cómo recibe el UAV físico las acciones de la política y las ejecuta? El UAV envía imágenes y estimaciones de estado a una estación terrestre para la inferencia y, después, recibe comandos de puntos de ruta de posición y guiñada para su controlador de vuelo a bordo.