SatNav:基于卫星图像的长时程无人机导航基准

SatNav:基于卫星图像的长时程无人机导航基准

Jiajun Jiang, Chunliang Hua, Zichun Chen, Yanxing Wu, Zeyuan Yang +2 位

1 分钟阅读•2026年9月28日

SatNav 定义了三类任务——边界、地标和路线,用于评估记忆密集型长时程导航的不同能力:环线路线进度跟踪、基于地标的空间定位,以及序列式路线推理。

任务定义

边界任务要求智能体沿湖泊、体育场或建筑群的外围行进。智能体从这条闭合边界上的某一点出发,沿边界导航,并在指令指定的目标处停止。任务分为三种变体:

  • 部分弧段: 智能体在完成一整圈之前停止。
  • 完整环路: 智能体完成一整圈并返回起点时停止。
  • 扩展环路: 智能体经过起点后继续沿边界行进一段,再停止。

这些任务评估长时程进度跟踪和精确停止能力,要求智能体区分途中经过目标位置与最终抵达目标位置。

地标任务要求智能体沿路线前往指定目的地,并在转弯时利用视觉上显著的地标判断朝向。在每个转弯点,智能体旋转,直到参照地标出现在自我中心视角中指定的区域。例如,“向左转,直到体育场出现在视野右上方,然后继续向前”通过体育场的位置指定转弯后的目标朝向。智能体遵循其余指令并在目的地停止。单转弯和双转弯变体用于评估地标定位和相对空间推理能力。

路线任务要求智能体沿道路、水道或二者组合导航,并遵循指令在指定位置转弯或停止。智能体利用“在第一座桥处左转”或“在第三个十字路口停止”等线索识别相关交叉口或路口。根据路线构成,任务分为仅道路、仅水道和混合三类,其中混合任务结合道路和水道路段。这些任务评估路线跟随、路口级决策,以及在长轨迹中追踪并计数连续决策点的能力。

SwiftVLN框架概述

SwiftVLN 对 ms-swift 中 StreamVLN 的训练和评估流程进行重构,将其构建为灵活且可扩展的视觉-语言导航(VLN)框架。它支持对不同记忆设计进行可控替换和评估,同时便于将不同的大型视觉-语言模型(LVLM)适配到 VLN。

短期上下文窗口之外的历史观测由长期记忆模块处理,以形成导航历史的表征。为便于进行可控比较,SwiftVLN 将记忆组件实现为一套可互换机制:

  • 历史帧采样: 使用均匀、随机或时间偏置策略提取过去的观测。时间偏置采样会明确优先选择近期帧,而非较早的帧。
  • 输入增强: 初始帧提示将首帧标记添加到系统上下文中,为起始场景提供稳定的视觉锚点。位姿编码为每个视觉帧添加相对位姿线索,提供空间位移和朝向信息。
  • 记忆压缩: 地图记忆将原始历史帧替换为构建的全局地图和局部地图,并将其编码为紧凑的记忆块。全局标记聚类(GTC)将所有保留帧中的标记聚合到固定容量的全局记忆中。片段标记聚类(STC)将历史划分为固定数量的时间片段,并分别对每个片段进行聚类,以保留粗粒度的时间结构。

这些可即插即用的变体共同构成一个测试平台,可用于系统地消融比较记忆架构。

SwiftVLN导航与记忆处理流程

真实世界实验

飞行实验展示了将基于卫星图像训练的导航模型通过轻量级视觉适配部署到真实无人机上的可行性。真实环境仍充满挑战,尤其是在局部场景存在歧义或执行过程不确定时,这表明卫星到无人机的迁移仍有进一步改进空间。

地标处理详细流程

地标任务旨在评估以地标为依据的转弯能力和相对空间推理能力。候选地标通过卫星图像上的由粗到细定位流程检测。粗粒度场景裁剪提供全局上下文,用于识别视觉上显著的物体或区域;随后通过更精细的网格验证所选地标,并更准确地估计其位置。这种层级设计既使 VLM 输入易于理解,也能在长距离轨迹中定位地标。

轨迹航点围绕保留的地标生成,并满足以下两项可执行性约束:

  1. 决策航点与其关联地标之间的距离不超过 30 m,确保线索在局部观测中仍然可见。
  2. 路段长度和转弯角度量化为 SatNav 动作空间中的值;智能体以固定的公制步长向前移动,并以固定的角度增量旋转。

这些约束确保生成的示范能够通过与模型评估相同的动作接口精确执行。指令按地标在轨迹上的顺序生成,并通过相对视角线索表达每个关键决策,例如转向直至地标出现在观测的指定区域。

真实世界部署

系统部署在 DJI Matrice 4D 上,进行真实飞行测试。部署期间,机载图像流和无人机状态消息(包括经度、纬度、高度和航向)通过 DJI OcuSync Enterprise 视频传输系统发送至 DJI RC Plus 2 控制器。控制器再通过 Wi-Fi 使用 RTMP 传输视频流,并使用 MQTT 传输状态和控制信息,将数据转发至本地工作站。

在工作站上,基于 Qwen2.5-VL-3B 构建、经过卫星到无人机适配的 SwiftVLN 基线模型,在单张 RTX 4090 GPU 上运行在线推理。

无人机与控制器之间的延迟几乎可以忽略不计。主要延迟来自控制器通过 Wi-Fi 上的 RTMP 将视频流转发至工作站;受缓冲和网络波动影响,这通常会带来 3–5 秒的延迟。相比之下,模型在单张 RTX 4090 上的平均推理时间约为 250 ms,因此通信流程是运行时的主要瓶颈。

其他真实世界飞行结果

其他真实世界飞行测试考察了基于卫星图像训练的模型在实体部署中的表现。测试涵盖 SatNav 的三类任务:边界、地标和路线。地标和路线任务的示例展示了模型在真实场景中执行地标引导转弯和路线跟随。

致谢与经费支持

本研究部分获得广东省基础与应用基础研究基金(Grant 2023A1515111151)、广州市区级科学技术局(Grant 2025A03J3655)、GDST(Grant C_2025_017)、BYD(Grant CP2025O007)以及研究经费(Grant 2023QN10X121)的支持。

作者感谢中国深圳龙岗低空智能综合测试基地为真实飞行实验提供场地。作者还感谢 Galbot 的 Ziyi Chen 在项目早期阶段参与讨论,并感谢国际数字经济研究院(IDEA)低空空间经济研究中心(LASER)的 Shuo Sun 和 Lei Zhang 协助设计图示并开展真实飞行实验。还要感谢 LASER、IDEA 的 Chao Wang 和 Jiayang Sun 维护计算资源,并在使用过程中协助解决问题。

常见问题

SatNav 对哪些导航任务进行基准评测? SatNav 涵盖边界、地标和路线任务,评估进度跟踪、基于地标的空间定位和序列式路线推理。

边界任务的三种变体是什么? 分别是部分弧段、完整环路和扩展环路任务;它们的区别在于智能体相对于完成环路并经过起点的位置停止。

地标处理流程如何确保示范可执行? 决策航点与地标的距离不超过 30 m,且路段长度和转弯角度量化为 SatNav 动作空间中的值。

真实世界部署中的主要运行时瓶颈是什么? 从控制器向工作站转发视频通常会增加 3–5 秒的延迟。模型平均推理时间约为 250 ms。