SatNav는 경계, 랜드마크, 경로의 세 가지 과제군을 정의해 메모리 집약적인 장기 내비게이션의 상호 보완적인 측면, 즉 순환 경로 진행 추적, 랜드마크 기반 공간 정합, 순차적 경로 추론을 평가합니다.
과제 정의
경계 과제에서 에이전트는 호수, 경기장 또는 건물 단지의 둘레를 따라 이동해야 합니다. 폐곡선 경계 위의 한 지점에서 출발해 경계를 따라 이동하고, 지시된 목표 지점에서 정지합니다. 세 가지 변형은 다음과 같습니다.
- 부분 호: 에이전트는 한 바퀴를 완전히 돌기 전에 정지합니다.
- 완전 순환: 에이전트는 한 바퀴를 완주한 뒤 출발점으로 돌아오면 정지합니다.
- 확장 순환: 에이전트는 출발점을 지나 추가 구간을 따라 이동한 뒤 정지합니다.
이 과제는 장기 진행 추적과 정확한 정지 능력을 평가하며, 목표 위치를 중간에 지나치는 경우와 최종적으로 도착하는 경우를 구분해야 합니다.
랜드마크 과제에서 에이전트는 시각적으로 두드러지는 랜드마크를 이용해 회전 시 진행 방향을 정하고, 지정된 목적지까지 경로를 따라가야 합니다. 각 회전 지점에서 참조된 랜드마크가 자기중심 시야의 지정된 영역에 나타날 때까지 회전합니다. 예를 들어, “경기장이 시야 오른쪽 위에 나타날 때까지 좌회전한 다음 계속 전진”이라는 지시에서는 회전 후 목표로 삼을 진행 방향을 경기장의 위치로 지정합니다. 에이전트는 나머지 지시를 따라 목적지에서 정지합니다. 한 번 회전하는 변형과 두 번 회전하는 변형으로 랜드마크 정합 및 상대적 공간 추론 능력을 평가합니다.
경로 과제에서 에이전트는 회전하거나 정지할 시점을 지정하는 지시에 따라 도로, 수로 또는 두 가지가 결합된 경로를 이동해야 합니다. 에이전트는 “첫 번째 다리에서 좌회전” 또는 “세 번째 교차로에서 정지”와 같은 단서를 이용해 관련 교차로나 합류 지점을 식별합니다. 경로 구성에 따라 과제는 도로 전용, 수로 전용, 혼합형으로 분류되며, 혼합형 과제는 도로와 수로 구간을 결합합니다. 이 과제는 경로 추종, 교차점 단위 의사결정, 장거리 이동 중 연속된 의사결정 지점을 추적하고 세는 능력을 평가합니다.
SwiftVLN 프레임워크 개요
SwiftVLN은 ms-swift 내 StreamVLN의 학습 및 평가 파이프라인을 유연하고 확장 가능한 비전-언어 내비게이션(VLN) 구조로 재구성합니다. 다양한 메모리 설계를 통제된 방식으로 교체하고 평가할 수 있으며, 여러 대규모 비전-언어 모델(LVLM)을 VLN에 맞게 조정할 수 있습니다.
단기 컨텍스트 윈도 밖의 과거 관측은 장기 메모리 모듈에서 처리되어 내비게이션 이력의 표현을 구성합니다. 통제된 비교를 지원하기 위해 SwiftVLN은 메모리 구성 요소를 서로 교체 가능한 방식의 모음으로 구현합니다.
- 이력 프레임 샘플링: Uniform, Random 또는 Temporal-Biased 전략을 사용해 과거 관측을 추출합니다. Temporal-Biased 샘플링은 먼 과거 프레임보다 최근 프레임에 명시적으로 우선순위를 둡니다.
- 입력 증강: Initial Frame Prompting은 첫 프레임의 토큰을 시스템 컨텍스트에 추가해 출발 장면의 안정적인 시각적 기준점을 제공합니다. Pose Encoding은 각 시각 프레임에 상대 자세 단서를 더해 공간적 변위와 진행 방향 정보를 제공합니다.
- 메모리 압축: Map Memory는 원시 이력 프레임을 전역 및 지역 지도로 대체하고, 이를 압축된 메모리 블록으로 인코딩합니다. Global Token Clustering (GTC)은 보존된 모든 프레임의 토큰을 고정 용량의 전역 메모리로 통합합니다. Segment Token Clustering (STC)은 이력을 고정된 수의 시간 구간으로 나누고 각 구간을 개별적으로 군집화해 대략적인 시간 구조를 보존합니다.
이러한 플러그 앤 플레이 방식은 메모리 아키텍처를 체계적으로 제거 실험할 수 있는 테스트 환경을 제공합니다.
실제 환경 실험
비행 실험은 위성 이미지로 학습한 내비게이션 모델을 가벼운 시각적 적응만으로 실제 UAV에 배치할 수 있음을 보여줍니다. 특히 주변 장면이 모호하거나 실행 결과가 불확실한 경우 실제 환경은 여전히 까다롭습니다. 이는 위성 이미지에서 UAV로의 전이 성능을 더욱 개선할 여지가 있음을 보여줍니다.
랜드마크 파이프라인 상세
랜드마크 에피소드는 랜드마크에 기반한 회전과 상대적 공간 추론 능력을 평가하도록 설계되었습니다. 후보 랜드마크는 위성 이미지에 대한 거친 위치 추정부터 세밀한 위치 추정까지 단계적으로 진행하는 방식으로 탐지합니다. 넓은 장면을 자른 이미지는 시각적으로 두드러지는 사물이나 영역을 식별할 전역 맥락을 제공하고, 이후 더 세밀한 격자 분석으로 선택된 랜드마크를 확인하고 위치를 더 정확하게 추정합니다. 이러한 계층적 방식은 장거리 궤적에서 랜드마크를 찾으면서도 VLM 입력을 해석하기 쉽게 유지합니다.
유지된 랜드마크 주변에 궤적 웨이포인트를 생성할 때는 다음 두 가지 실행 가능성 제약을 적용합니다.
- 의사결정 웨이포인트는 관련 랜드마크에서 30 m 이내에 배치해 해당 단서가 주변 관측에서 보이도록 합니다.
- 구간 길이와 회전 각도는 SatNav 행동 공간에 맞춰 양자화합니다. 에이전트는 고정된 미터 단위 거리만큼 전진하고 고정된 각도만큼 회전합니다.
이러한 제약을 통해 생성된 시연을 모델 평가와 동일한 행동 인터페이스로 정확하게 실행할 수 있습니다. 지시는 궤적을 따라 랜드마크의 순서를 정한 뒤, 관측의 특정 영역에 랜드마크가 나타날 때까지 회전하는 것과 같은 상대 시점 단서로 각 주요 의사결정을 표현해 생성합니다.
실제 환경 배치
실제 비행 테스트를 위해 DJI Matrice 4D에 시스템을 배치합니다. 배치 중에는 기내 영상 스트림과 경도, 위도, 고도, 진행 방향 등의 UAV 상태 메시지를 DJI OcuSync Enterprise 영상 전송 시스템을 통해 DJI RC Plus 2 컨트롤러로 전송합니다. 컨트롤러는 RTMP를 이용한 영상 스트리밍과 MQTT를 이용한 상태 및 제어 통신으로 Wi-Fi를 통해 데이터를 로컬 워크스테이션에 전달합니다.
워크스테이션에서는 Qwen2.5-VL-3B를 기반으로 위성 이미지에서 UAV로의 전이에 맞게 조정한 SwiftVLN 기준 모델을 단일 RTX 4090 GPU에서 실행해 온라인 추론을 수행합니다.
UAV와 컨트롤러 사이의 지연 시간은 거의 무시할 수 있는 수준입니다. 주요 지연은 RTMP를 통해 Wi-Fi로 컨트롤러에서 워크스테이션까지 영상 스트림을 전달하는 과정에서 발생하며, 버퍼링과 네트워크 변동으로 일반적으로 3–5 seconds의 지연이 추가됩니다. 반면 단일 RTX 4090에서의 모델 추론은 평균 약 250 ms가 걸려, 통신 파이프라인이 런타임의 주요 병목으로 작용합니다.
추가 실제 비행 결과
추가 실제 비행 테스트에서는 위성 이미지로 학습한 모델을 물리적 환경에 배치했을 때의 동작을 살펴봅니다. 테스트는 경계, 랜드마크, 경로의 SatNav 세 과제군을 모두 다룹니다. 랜드마크 및 경로 과제의 예시에서는 모델이 실제 장면에서 랜드마크 안내에 따른 회전과 경로 추종을 수행하는 모습을 보여줍니다.
감사의 글 및 연구비 지원
본 연구는 광둥성 기초 및 응용 기초 연구 재단(과제 번호 2023A1515111151), 광저우시 구 과학기술국(과제 번호 2025A03J3655), GDST(과제 번호 C_2025_017), BYD(과제 번호 CP2025O007) 및 연구비 지원(과제 번호 2023QN10X121)의 일부 지원을 받았습니다.
저자들은 실제 비행 실험 장소를 제공한 중국 선전 룽강의 저고도 지능형 통합 시험 기지에 감사드립니다. 프로젝트 초기 단계에 의견을 나눠 준 Galbot의 Ziyi Chen, 도식 설계와 실제 비행 실험을 도와준 International Digital Economy Academy (IDEA) 산하 Low Altitude Space Economy Research Center (LASER)의 Shuo Sun과 Lei Zhang에게도 감사드립니다. LASER, IDEA의 Chao Wang과 Jiayang Sun은 컴퓨팅 자원을 관리하고 사용 중 발생한 문제 해결을 도와준 데 대해 감사를 전합니다.
자주 묻는 질문
SatNav는 어떤 내비게이션 과제를 벤치마크하나요? SatNav는 경계, 랜드마크, 경로 과제를 다루며 진행 추적, 랜드마크 기반 공간 정합, 순차적 경로 추론을 평가합니다.
경계 과제의 세 가지 변형은 무엇인가요? 부분 호, 완전 순환, 확장 순환 과제이며, 한 바퀴를 완주했는지와 출발점을 지나쳤는지를 기준으로 에이전트가 정지하는 위치가 달라집니다.
랜드마크 파이프라인은 시연을 실행할 수 있도록 어떻게 보장하나요? 의사결정 웨이포인트는 랜드마크에서 30 m 이내에 배치되며, 구간 길이와 회전 각도는 SatNav 행동 공간에 맞춰 양자화됩니다.
실제 환경 배치에서 런타임의 주요 병목은 무엇인가요? 컨트롤러에서 워크스테이션으로 영상을 전달할 때 일반적으로 3–5 seconds의 지연이 추가됩니다. 모델 추론에는 평균 약 250 ms가 걸립니다.