导航出错的一个重要原因，是无法将运动预测与其可能产生的结果联系起来。大多数方法直接根据视觉观测和语言指令预测连续航点。由于训练目标只惩罚航点误差，模型很难预判自身动作的执行结果，因此更容易生成在3D环境中可能不安全的轨迹。
我们在OpenUAV和HUGE-Bench上通过实验验证了ProtoVis-Nav的有效性。结果表明，与强基线相比，ProtoVis-Nav显著提升了导航表现，并使无人机连续导航更加可靠。
整体流程
ProtoVis-Nav使用Qwen3VL-2B-Instruct作为视觉语言模型（VLM）骨干网络。输入包括双视角RGB观测（前视图和下视图图像）、语言指令和当前无人机状态，其中包含上一次位移和当前位置。Qwen3VL骨干网络保持冻结，同时训练插入骨干网络的LoRA适配器和新增的输出头。
在视觉想象过程中， token用于预测特征原型，再通过softmax归一化的线性加权将其组合起来，生成与结果相关的目标局部区域视觉表征。这促使模型在预测下一步动作之前，先预判相关视觉上下文应呈现的样貌。
最后，VLM中的 token将 token作为上下文。航点头将其隐藏状态与无人机运动学信息结合起来，预测下一个航点。
变体研究
在Test Seen划分上进行的变体研究，分析了ProtoVis-Nav的三项设计选择：视觉想象目标、PVI头设计，以及 token的数量。
PVI空间可视化与航点Token注意力
空间可视化
通过将PVI注意力图叠加在当前图像上，可视化两个示例。巡航和着陆示例分别将预期的下一步无人机运动与前视图、下视图中的局部视觉区域关联起来。在这两种情况下，注意力峰值都位于投影目标区域内或附近。这表明PVI关注的是与下一步预期无人机运动相关的视觉区域。
航点Token注意力
我们分析了1,000帧中航点token的因果注意力。对各帧的注意力矩阵取平均，以概括图像、PVI和航点token之间的交互。航点token的注意力主要集中在PVI token上。借助因果注意力，它能够将与运动相关的视觉上下文与指令及无人机状态结合起来。可视化和分析结果共同表明，PVI能够识别与局部动作相关的视觉证据，并通过注意力影响航点token的表征。
定性分析
定性示例展示了ProtoVis-Nav如何朝目标导航。在一个示例中，指令描述了一辆停在空旷街道上的白色卡车，周围环绕着多层石砌建筑。无人机沿街逐步前进，在连续观测中调整视角，最终停在目标卡车附近。这些连续观测表明，在视角变化的情况下，ProtoVis-Nav仍能为航点预测保留与目标相关的视觉上下文。这与研究动机相符：原型视觉特征能够为航点预测提供有效上下文。
局限性与社会影响
尽管取得了改进，ProtoVis-Nav在复杂空中环境中仍面临挑战。根据作者的观察，大多数失败案例由碰撞导致，尤其是与树木和树枝、电线杆、电线等细小障碍物发生碰撞。这些障碍物在图像中通常只占很小区域，还可能部分被遮挡或在视觉上难以辨认。因此，难以根据RGB观测准确估计障碍物边界和可通行间隙。
未来工作将探索更强的障碍物感知与规划机制，包括深度或LiDAR输入、显式碰撞风险建模，以及用于提升无人机导航安全性的防碰撞轨迹优化。闭环评估目前在仿真环境中进行。未来工作将把验证扩展到真实世界的无人机飞行和硬件在环实验，以评估物理传感与控制条件下的闭环导航表现。
ProtoVis-Nav有望通过改进基于语言指令的无人机导航，助力搜救、灾害应对和基础设施巡检等应用。同时，如果缺乏充分的防护措施，无人机导航系统可能带来安全、隐私和安保方面的隐患，因此应在人工监督和部署限制下使用。
结论
ProtoVis-Nav是一种用于无人机视觉语言导航的原型视觉想象框架。其核心思想是将航点预测建立在与下一步预期运动相关的局部视觉上下文之上。这一点对无人机尤为重要，因为微小的3D运动误差也可能导致不安全的导航行为。
ProtoVis-Nav会为预期的下一步无人机运动生成与结果相关的局部视觉表征。具体而言，该方法预测特征原型，并将其线性组合，以估计目标区域的视觉特征；同时，原型token表征为航点预测提供上下文。这种设计有助于提升视觉上下文与航点输出之间的对齐程度。在OpenUAV和HUGE-Bench上的实验验证了ProtoVis-Nav的有效性。
致谢与经费披露
本论文由国家自然科学基金（No. U25A20434）资助。
停止监督
我们设计了一种简单的停止监督策略，以利用VLM的内部视觉落地能力，判断无人机何时应结束导航。停止头使用距离感知软标签进行监督，促使VLM根据当前视觉观测及其与目标的距离来判断是否停止。
给定 token的输出隐藏状态，通过一个线性层并接sigmoid激活函数来预测停止概率。
停止概率根据 token的隐藏状态预测。
训练时，根据无人机当前位置与目标位置之间的距离构造监督标签。
软监督标签取决于无人机与目标之间的距离。
当无人机距离目标20 meters时，该软标签取值为0.5。随着无人机接近目标，标签逐渐增至1；距离目标更远时，标签则逐渐减至0。停止头使用二元交叉熵进行训练。
推理时，无人机根据预测的停止概率发送停止信号。
停止决策根据预测的停止概率作出。
这种设计提供了平滑且具有距离感知能力的停止目标，促使模型仅在其视觉语言落地判断表明无人机已足够接近目标时才停止。
常见问题
ProtoVis-Nav是什么？ 它是一种用于无人机视觉语言导航的原型视觉想象框架。
ProtoVis-Nav使用哪些输入？ 它使用前视图和下视图RGB图像、语言指令以及当前无人机状态，其中包括上一次位移和当前位置。
视觉想象如何支持航点预测？ token预测特征原型，并将其组合成与结果相关的局部视觉表征。该表征为预测下一个航点提供上下文。
论文指出了哪些局限性？ 大多数已观察到的失败都涉及碰撞，尤其是与树木和树枝、电线杆、电线等细小障碍物碰撞。评估在仿真中进行，真实世界无人机验证仍有待未来开展。