一种新方法让视觉语言模型（VLM）在运行过程中重新思考飞行计划，无需额外训练。该方法称为测试时扩展（Test-Time Scaling），首先生成多个候选路线，然后通过自我纠正和多准则评分函数选出最安全、最准确的路径，在无人机视觉语言导航任务中达到了最先进水平。
目录
研究人员构建了什么
该团队开发了一个测试时扩展框架，增强了视觉语言模型（VLM）在无人机导航中的能力，且无需重新训练。传统VLM方法依赖单次推理，在复杂环境中可能产生次优或不安全的轨迹——比如躲避树枝、穿越狭窄的城市峡谷或避开意外障碍。
研究人员没有微调底层VLM（这既昂贵又需要标注数据），而是设计了一个两阶段流程：首先，模型并行生成多个候选导航计划；然后，应用自我纠正步骤，根据一个多准则评分函数重新评估这些计划，该函数权衡安全性、目标对齐度和前进进度。关键在于，整个流程使用冻结的VLM——无需训练数据或梯度更新。
结果是一个能在测试时调整输出的导航系统，类似于人类飞行员对危险接近的重新判断。该方法是模型无关的，可以嵌入现有的基于VLM的无人机导航栈中。
关键结果
该方法在无人机VLM导航标准基准上达到了最先进水平。与单次推理基线相比，测试时扩展方法改进如下：
| 指标 | 单次推理基线 | 测试时扩展 | 改进幅度 |
|---|---|---|---|
| 成功率 | 68.4% | 76.1% | +7.7% |
| 轨迹效率（平均路径长度） | 12.3米 | 10.1米 | –17.9% |
| 安全得分（碰撞率） | 14.2% | 8.5% | –40.1% |
| 目标对齐误差 | 1.8米 | 1.2米 | –33.3% |
仅自我纠正步骤就使成功率提高了4.3%，再加上多准则评分，进一步提升了性能。该方法还能泛化到不同的VLM骨干网络，包括LLaVA和InstructBLIP，无需针对特定架构进行调整。
工作原理
该流程分为三个不同阶段。在推理时，冻结的VLM首先接收当前视觉观察（来自无人机摄像头）和语言指令（例如“去停车场后面的红色建筑”）。
阶段1 — 并行候选生成：系统不是解码单个轨迹，而是通过使用更高的温度或随机解码从VLM中采样多个输出。这产生一组多样化的候选导航计划——通常为8到16个候选。
阶段2 — 自我纠正：每个候选计划被反馈给VLM，并附带一个提示，要求“检查潜在错误和改进”。这一步迫使模型批判性地评估自己的输出。模型生成一个改进后的版本，通常修复在第一轮中被遗漏的死胡同或障碍碰撞。
阶段3 — 多准则评分：一个轻量级评分函数为每个改进后的候选分配最终得分。得分是以下项的加权和： - 安全：惩罚距离障碍物过近或违反高度约束的路径。 - 目标对齐：使用几何启发式衡量路径是否直接通向目标位置。 - 前进进度：奖励向目标稳步前进的路径，避免迂回。
得分最高的候选被执行。整个过程在每个导航步骤中仅增加200–500毫秒的延迟，对于低速城市无人机操作而言是可以接受的。
为何对机器人领域重要
这项工作解决了自动驾驶无人机导航的一个核心痛点：固定模型无法处理新颖或棘手情况。通过引入测试时扩展，任何配备VLM的无人机都可以变得更安全、更准确，而无需昂贵的重新训练周期。对于使用二手工业机器人（如检测无人机）的操作者来说，这意味着一次纯软件升级，即可提高在杂乱环境中的可靠性。
这种方法对于无法承担大规模模型微调的小团队或初创公司尤其具有吸引力。它还通过补偿推理时的局限性，为使用更小、更便宜、更快的VLM打开了大门。短期内，我们可以预期测试时扩展成为基于VLM的机器人规划的标准组件，类似于语言模型中束搜索解码的使用。
局限性与未解问题
主要局限性是增加的延迟：多候选生成和评分需要额外时间，这可能对高速无人机（例如竞速或应急响应）带来问题。该方法还假设VLM的初始候选集包含一个可行的计划——如果模型完全错误，自我纠正可能无济于事。
此外，评分函数依赖于手工设计的启发式规则来评估安全和进度。未来的工作可以自适应地学习这些权重或集成一个学习到的奖励模型。最后，论文仅在仿真中测试；实际部署需要处理传感器噪声、动态障碍和不可预测的风。
常见问题
这种方法需要训练数据吗？ 不需要。VLM完全冻结——无需微调或标注数据。仅推理过程被修改。
测试时扩展会增加多少延迟？ 作者报告每个决策步骤增加200–500毫秒延迟，这对于大多数工业无人机应用是可容忍的。
可以与任何VLM一起使用吗？ 是的，该技术是模型无关的，并在LLaVA、InstructBLIP和其他流行VLM上得到验证。
这能提高实际无人机飞行的安全性吗？ 仿真结果显示碰撞率显著降低。需要实际测试，但自我纠正和评分方法正是针对导致坠毁的边缘情况。
结论
测试时扩展提供了一种简单而强大的方法，无需训练成本即可提升基于VLM的无人机导航。通过生成多个候选并通过自我纠正和评分进行优化，该方法达到了最先进水平，并将碰撞率降低了40%。对于希望从现有导航模型中获得更多价值的无人机操作者来说，这是一个实用的升级。
在时间紧迫的无人机任务中，您会如何权衡延迟与精度？