UAV-Flow++: 실제 및 시뮬레이션 UAV 과제 전반의 언어 지시 비행… (2026)

실제 환경 데이터셋

전문가의 비행 행동을 포착하기 위해 저자들은 실제 비행 시연을 수집하고 주석을 달아 UAV-Flow를 구축합니다.

지시문 주석

언어 주석은 품질 관리 절차를 거쳐 작성됩니다. 주석 작성자는 먼저 행동이 모호하거나, 실행이 안전하지 않거나, 장면 내 관계가 불분명하거나, 움직임의 의미가 일관되지 않은 클립을 걸러냅니다. 그런 다음 의도된 움직임을 설명하는 간결한 명령을 부여하고, 필요한 경우 화면에 보이는 물체와의 공간적 관계도 명시합니다.

표준화된 주석 작성과 효율적인 데이터 처리를 위해 UAV-Flow는 표준 과제 라벨에 사용할 고정 명령어 세트를 도입합니다. 또한 대규모 언어 모델로 표준 주석을 바꾸어 표현해 개방형 어휘 명령어 세트를 구축합니다. 이렇게 만들어진 실제 환경 데이터셋에는 8개의 주요 움직임 범주에 걸친 궤적 30,692개가 포함되며, 자기중심 시점 영상, 정렬된 UAV 상태 정보, 지시문이 함께 제공됩니다.

데이터 분석

UAV-Flow와 UAV-Flow-Sim은 Flow 정식화에 상호 보완적인 범위를 제공합니다. 실제 환경 데이터셋에는 8개의 주요 움직임 범주에 걸친 전문가 조종 궤적 30,692개가 포함되어 있으며, 다양한 시각적 맥락과 사람마다 다른 조종 방식, 실제로 수행된 UAV의 물리적 동역학을 담고 있습니다. 시뮬레이션 데이터셋에는 일치하는 지시문 및 상태 형식에 따라 생성된 궤적 10,109개가 포함되어 있어, 통제된 테스트와 시뮬레이션 기반 정책 최적화가 가능합니다.

저자들은 또한 데이터셋의 모든 주요 행동 유형을 아우르는 주석 처리된 궤적 273개로 시뮬레이션 테스트 세트를 구성해 Flow 과제를 체계적으로 평가할 수 있도록 합니다. 각 테스트 에피소드에는 과제 라벨, 초기 상태, 지시문, 기준 궤적, 과제별 완료 기준이 명시되어 있어 재현 가능한 폐루프 평가 프로토콜을 제공합니다.

혼합 모방 사전학습

정책은 UAV-Flow의 실제 비행 시연과 UAV-Flow-Sim의 시뮬레이션 시연을 혼합해 모방 학습으로 사전학습합니다. 두 데이터 출처는 통일된 에피소드 형식을 따르며 프레임 단위 학습 샘플로 확장됩니다. 사전학습 데이터셋은 약 20,000개의 시연 궤적으로 구성됩니다.

실제 시연은 야외 시각 환경의 실제적인 다양성, 센서 확률성, 물리적 운동 동역학을 제공합니다. 시뮬레이션 시연은 Flow 기동과 과제 설정을 제어 가능하고 확장성 있게 포괄합니다. 이러한 상호 보완적인 데이터 출처를 함께 사용해 학습하면 정책이 자기중심 시점의 시각 관측, UAV 상태, 언어 지시를 미래 행동 청크로 변환할 수 있습니다.

각 학습 샘플에서 전문가의 미래 행동 청크를 정규화 및 이산화해 범주형 라벨로 변환하고, 범주형 교차 엔트로피를 사용해 행동 예측을 지도합니다. 손실은 미래 스텝 수와 네 가지 행동 차원에 대해 평균을 구합니다:

정규화된 전문가 행동을 해당하는 이산 행동 구간에 대응시킵니다.

사전학습된 정책은 언어 지시에 따라 짧은 시간 범위의 UAV 행동 청크를 예측합니다. 이 정책은 이후 폐루프 평가에 사용되며 강화학습 후학습의 초기 정책이 됩니다.

실제 환경 배포

학습된 정책을 실제 UAV에 배포하기 위해 저자들은 지상국과 드론이 협력하는 실행 구조를 사용합니다. 기내 컴퓨팅 자원이 제한되어 있으므로 VLA 추론은 지상국에서 수행됩니다. UAV는 무선 링크를 통해 자기중심 시점 영상과 상태 추정치를 지상국으로 전송합니다. 지상국은 수신한 관측 정보와 언어 지시에 따라 행동 청크를 생성하고, 이를 제어 목표로 변환한 뒤 UAV에 다시 전송해 기내 비행 제어기가 실행하도록 합니다.

정책은 로컬 좌표계에서 위치-요 행동을 출력합니다. 실행 계층은 이산 예측값을 연속 행동으로 디코딩하고, 입력 관측에 해당하는 UAV 자세를 사용해 각 행동 청크를 위치-요 웨이포인트로 순차 변환합니다.

실험

FlowVLA는 폐루프 시뮬레이션, 절제 연구, 실제 UAV 배포를 통해 평가됩니다. 먼저 사전학습 정책을 조정된 기준선과 비교하고, GRPO 및 TGRPO 후학습이 과제 완료와 궤적 유사도에 미치는 영향을 평가합니다. 이어지는 절제 연구에서는 대안 강화학습 알고리즘을 비교하고, 학습 데이터 구성, 행동 표현, VLM 특징 선택의 영향을 살펴봅니다. 마지막으로 야외 및 실내 실제 환경에서 비행을 수행한 사례를 제시합니다.

기준 모델

저자들은 대표적인 방법 다섯 가지를 기준선으로 선정해 Flow 과제에 맞게 조정합니다. 모든 기준선은 동일한 시뮬레이션 시연을 사용해 모방 학습으로 훈련하며, VLM 구성 요소는 LoRA를 사용해 미세 조정합니다. 공통 폐루프 실행 인터페이스를 제공하기 위해 각 모델의 출력을 로컬 위치-요 명령으로 변환하고 동일한 시뮬레이터 측 제어기로 실행합니다.

FlowVLA는 실제 및 시뮬레이션 시연을 혼합해 모방 사전학습한 정책을 뜻합니다. FlowVLA-GRPO와 FlowVLA-TGRPO는 각각 해당 알고리즘을 사용해 이 정책을 강화학습 후학습한 변형 모델입니다.

최적화 효율과 이러한 과제에서의 성능을 모두 살펴보기 위해 모든 정책을 전체 테스트 세트에서 평가합니다. 평가는 네 가지 강화학습 훈련 과제에서의 성능 향상과 나머지 과제에서의 역량 유지를 함께 정량화합니다.

절제 연구

학습 곡선을 통해 학습 과정 전반에서 각 방법이 어떻게 작동하는지도 확인할 수 있습니다. 전반적으로 FlowVLA-GRPO와 FlowVLA-GDPO의 성공률은 높아지는 반면, GSPO는 학습 후반에도 90% 안팎을 유지하고 DAPO는 크게 하락합니다. FlowVLA-GRPO는 학습 후반에도 비교적 높은 NDTW를 유지하지만, FlowVLA-GDPO와 FlowVLA-GSPO의 NDTW는 하락합니다.

FlowVLA-DAPO와 FlowVLA-GSPO의 학습 후반 성능 저하는 참조 정책 KL 정규화가 적용되지 않은 점과 일부 관련이 있을 수 있습니다. 이들의 업데이트는 사전학습된 참조 정책과의 누적 편차를 명시적으로 제한하지 않습니다.

혼합 학습 데이터의 효과

실제 비행 시연을 추가하면 FlowVLA의 평균 성공률은 73.14%에서 75.58%로 2.44%p 높아집니다. 평균 NDTW도 0.399에서 0.402로 소폭 증가합니다. 이 결과는 실제 비행 시연이 직접적인 실제 환경 정책 학습을 돕는 데 그치지 않고, 시뮬레이션 데이터에 상호 보완적인 학습 신호를 제공해 시뮬레이션에서 폐루프 과제 성공률을 높인다는 점을 보여줍니다.

실제 환경 배포 평가

위에서 설명한 배포 방식을 따라 저자들은 실제 UAV에 VLA 정책을 배포하고, 야외 및 실내 환경에서 폐루프 비행으로 언어 지시를 수행하는 능력을 평가합니다.

비행 중 UAV는 자기중심 시점 영상과 상태 추정치를 지상국으로 계속 전송하고, 지상국은 행동 청크를 예측합니다. 실행 계층은 예측값을 웨이포인트 명령으로 변환하고, 종단 간 지연 시간에 따라 미리 볼 웨이포인트를 선택해 비행 제어기로 전달합니다. 이를 통해 통신 및 정책 추론 지연이 있어도 폐루프 비행을 지속할 수 있습니다.

감사의 말

본 연구는 중국 국가 중점 연구개발 프로그램(Grant No. 2024YFF1401400), 창의적 연구 그룹 과학 기금(No. T2621006), 중국 국가자연과학기금(Nos. U23B2010, 62461160308, 62576024), 중앙대학교 기초연구기금(No. 501RCQD2025141003), BeiHang GanWei 프로젝트(No. 502GWXM2024141001)의 일부 지원을 받아 수행되었습니다.