내비게이션 오류가 발생하는 주요 원인 중 하나는 동작 예측을 그 결과와 연결하지 못하는 것입니다. 대부분의 방법은 시각 관측과 언어 지시로부터 연속 웨이포인트를 직접 예측합니다. 학습 목적 함수가 웨이포인트 오차에만 페널티를 부과하므로, 모델은 자신의 행동이 실행될 때 어떤 결과가 발생할지 거의 예측하지 못합니다. 그 결과 3D 환경에서 안전하지 않을 수 있는 궤적을 생성할 위험이 커집니다.
OpenUAV와 HUGE-Bench에서 ProtoVis-Nav의 효과를 실험적으로 검증했습니다. 결과에 따르면 ProtoVis-Nav는 강력한 기준 방법보다 내비게이션 성능을 크게 향상시키고, 더 신뢰할 수 있는 연속 UAV 내비게이션을 구현합니다.
전체 파이프라인
ProtoVis-Nav는 비전-언어 모델(VLM) 백본으로 Qwen3VL-2B-Instruct를 사용합니다. 입력은 전방 및 하방 시점의 듀얼 뷰 RGB 관측 이미지, 언어 지시, 이전 변위와 현재 위치를 포함한 현재 UAV 상태로 구성됩니다. Qwen3VL 백본은 동결하고, 백본에 삽입된 LoRA 어댑터와 새로 추가한 출력 헤드를 학습합니다.
시각적 상상을 위해 토큰이 특징 프로토타입을 예측하고, 이를 softmax 정규화 선형 가중치로 결합해 목표 국소 영역의 결과 연관 국소 시각 표현을 생성합니다. 이를 통해 모델은 다음 행동을 예측하기에 앞서 관련 시각 맥락이 어떤 모습일지 예상하도록 유도합니다.
마지막으로 토큰은 VLM에서 토큰을 맥락으로 활용합니다. 웨이포인트 헤드는 토큰의 은닉 상태와 UAV 운동학 정보를 결합해 다음 웨이포인트를 예측합니다.
변형 연구
Test Seen 분할에서 수행한 변형 연구는 ProtoVis-Nav의 세 가지 설계 선택, 즉 시각적 상상의 대상, PVI 헤드 설계, 토큰 수를 분석합니다.
PVI 공간 시각화 및 웨이포인트 토큰 어텐션
공간 시각화
현재 이미지 위에 PVI 어텐션 맵을 겹쳐 두 가지 사례를 시각화했습니다. 순항 및 착륙 사례에서는 의도된 다음 UAV 움직임이 전방 및 하방 시점의 국소 시각 영역과 각각 연결됩니다. 두 사례 모두에서 어텐션이 가장 높은 지점은 투영된 목표 영역 안이나 그 주변에 있습니다. 이는 PVI가 다음에 의도된 UAV 움직임과 관련된 시각 영역에 집중함을 시사합니다.
웨이포인트 토큰 어텐션
1,000개 프레임에서 웨이포인트 토큰의 인과 어텐션을 분석했습니다. 이미지, PVI, 웨이포인트 토큰 간 상호작용을 요약하기 위해 프레임별 어텐션 행렬을 평균했습니다. 웨이포인트 토큰의 어텐션은 PVI 토큰에 집중됩니다. 인과 어텐션을 통해 웨이포인트 토큰은 움직임과 관련된 시각 맥락을 지시 및 UAV 상태와 결합할 수 있습니다. 시각화와 분석을 종합하면 PVI가 행동과 관련된 국소 시각 근거를 식별하고, 어텐션을 통해 웨이포인트 토큰의 표현에 영향을 준다는 것을 알 수 있습니다.
정성적 분석
정성적 사례를 통해 ProtoVis-Nav가 목표를 향해 어떻게 내비게이션하는지 살펴봅니다. 한 사례에서 지시는 여러 층의 석조 건물로 둘러싸인 한산한 도로에 주차된 흰색 트럭을 설명합니다. UAV는 도로를 따라 점진적으로 이동하고, 연속된 관측 사이에서 시점을 조정한 뒤, 마침내 목표 트럭 근처에 정지합니다. 연속 관측 결과는 시점이 바뀌는 동안에도 ProtoVis-Nav가 웨이포인트 예측에 필요한 목표 관련 시각 맥락을 유지함을 보여줍니다. 이는 원형 시각 특징이 웨이포인트 예측에 유용한 맥락을 제공한다는 동기와 일치합니다.
한계 및 사회적 영향
성능이 개선되었지만 ProtoVis-Nav는 복잡한 항공 환경에서 여전히 어려움을 겪습니다. 저자들의 관찰에 따르면 실패 사례 대부분은 충돌로 인해 발생하며, 특히 나무와 나뭇가지, 기둥, 전선 같은 가느다란 장애물과 충돌하는 경우가 많습니다. 이러한 장애물은 이미지에서 차지하는 영역이 작은 경우가 많고, 일부가 가려지거나 시각적으로 모호할 수 있습니다. 따라서 RGB 관측만으로는 장애물의 경계와 통과 여유 공간을 추정하기 어렵습니다.
향후 연구에서는 깊이 또는 LiDAR 입력, 명시적인 충돌 위험 모델링, 더 안전한 UAV 내비게이션을 위한 충돌 방지 궤적 개선 등을 포함해 장애물 인식 및 계획 메커니즘을 강화할 예정입니다. 폐루프 평가는 시뮬레이션에서 수행했습니다. 향후에는 실제 UAV 비행과 하드웨어 인더루프 실험으로 검증 범위를 확대해 물리적 감지 및 제어 조건에서 폐루프 내비게이션 성능을 평가할 계획입니다.
ProtoVis-Nav는 언어 지시를 이용한 UAV 내비게이션을 개선해 수색 및 구조, 재난 대응, 인프라 점검 등의 응용 분야에 기여할 수 있습니다. 한편 UAV 내비게이션 시스템은 충분한 보호 장치 없이 배치될 경우 안전, 개인정보 보호, 보안 문제를 일으킬 수 있으므로 사람의 감독과 배치 제약 아래 사용해야 합니다.
결론
ProtoVis-Nav는 UAV 시각-언어 내비게이션을 위한 원형 시각적 상상 프레임워크입니다. 핵심 아이디어는 웨이포인트 예측을 다음에 의도된 움직임과 연관된 국소 시각 맥락에 기반하게 하는 것입니다. 작은 3D 이동 오차도 안전하지 않은 내비게이션 동작으로 이어질 수 있는 UAV에서 이는 특히 중요합니다.
ProtoVis-Nav는 다음에 의도된 UAV 움직임과 연관된 결과 기반 국소 시각 표현을 상상합니다. 구체적으로 특징 프로토타입을 예측하고 선형 결합해 목표 영역의 시각 특징을 추정하며, 프로토타입 토큰 표현은 웨이포인트 예측에 맥락을 제공합니다. 이 설계는 시각 맥락과 웨이포인트 출력 간 정렬을 개선합니다. OpenUAV와 HUGE-Bench 실험을 통해 ProtoVis-Nav의 효과를 입증했습니다.
감사의 글 및 연구비 공개
본 논문은 중국 국가자연과학기금위원회(National Natural Science Foundation of China)의 지원을 받았습니다(No. U25A20434).
정지 감독
VLM의 내부 그라운딩 능력을 활용해 UAV가 언제 내비게이션을 종료해야 하는지 판단하는 간단한 정지 감독 전략을 설계했습니다. 정지 헤드는 거리를 반영한 소프트 레이블로 감독하여, VLM이 현재 시각 관측과 목표까지의 거리를 바탕으로 정지 여부를 판단하도록 유도합니다.
토큰의 출력 은닉 상태를 입력으로 받아, 시그모이드 활성화 함수가 뒤따르는 선형 계층이 정지 확률을 예측합니다.
정지 확률은 토큰의 은닉 상태로부터 예측합니다.
학습 시에는 현재 UAV 위치와 목표 위치 사이의 거리에 따라 감독 레이블을 구성합니다.
소프트 감독 레이블은 UAV와 목표 사이의 거리에 따라 달라집니다.
이 소프트 레이블은 UAV가 목표에서 20 meters 떨어져 있을 때 0.5를 부여합니다. UAV가 목표에 가까워질수록 레이블은 1에 가까워지고, 멀어질수록 0에 가까워집니다. 정지 헤드는 이진 교차 엔트로피를 사용해 학습합니다.
추론 시 UAV는 예측된 정지 확률에 따라 정지 신호를 보냅니다.
정지 여부는 예측된 정지 확률을 사용해 결정합니다.
이 설계는 거리 인식형 소프트 정지 목적 함수를 제공하여, 시각-언어 그라운딩 결과 목표에 충분히 가까워졌다고 판단될 때만 모델이 정지하도록 유도합니다.
자주 묻는 질문
ProtoVis-Nav란 무엇인가요? UAV 시각-언어 내비게이션을 위한 원형 시각적 상상 프레임워크입니다.
ProtoVis-Nav는 어떤 입력을 사용하나요? 전방 및 하방 시점의 RGB 이미지, 언어 지시, 이전 변위와 현재 위치를 포함한 현재 UAV 상태를 사용합니다.
시각적 상상은 웨이포인트 예측을 어떻게 지원하나요? 토큰이 특징 프로토타입을 예측하고 이를 결합해 결과 연관 국소 시각 표현을 생성합니다. 이 표현은 다음 웨이포인트를 예측하는 데 맥락을 제공합니다.
논문에서 지적한 한계는 무엇인가요? 관찰된 실패의 대부분은 충돌과 관련되며, 특히 나무와 나뭇가지, 기둥, 전선 같은 가느다란 장애물과의 충돌이 주된 원인입니다. 평가는 시뮬레이션에서 이루어졌으며, 실제 환경에서의 UAV 검증은 향후 과제로 남아 있습니다.