视觉—语言模型让零样本视觉控制成为联网自主系统中颇具吸引力的方案。只需用自然语言提示一个预训练模型，理论上就能取代人工设计的感知与规划流程；同一模型既可以部署在车载加速器上，也可以通过网络调用托管端点。如今，这两种部署方式都已切实可行，而如何选择则是一个系统层面的问题，涉及延迟、能耗和持续成本。
但这个系统问题之前，其实还有一个很少被提出的问题：控制器到底有没有使用摄像头？
这个担忧并非抽象假设。模拟驾驶基准奖励向前行驶，同时惩罚碰撞。在这类环境中，始终减速的策略已经接近最优，而且完全不需要感知。如果视觉—语言模型（VLM）控制器输出近乎恒定的动作，汇总指标就会把模型并不具备的能力报告成真实表现。这样一来，关于部署位置（边缘还是云端）、模型选择以及成本的决策，依据的就不是模型，而是模拟器本身的特性。
我们通过以下方法，让这种失败模式及其适用边界都变得可测量：
- 一套输入消融测试，包括盲控、噪声基线、车道轴反射、基准策略，以及四项流程完整性检查。
- 证据表明，单一汇总分数和下游流程的复杂程度都不能证明模型具备感知能力：常量策略可能胜过脚本策略，而视觉意图则能将 MPC 层级从更高维的控制目标压缩为更少的一组目标。
- 一个分级能力结构：即使横向几何判断失败，也可能恢复纵向危险识别；同时，提示词的组织方式会显著改变测得的视觉落地能力。
背景与相关工作
车载推理能够限制延迟并确保数据留在本地，但会消耗有限的内存与能源。托管式推理可以使用更大的模型，却要付出网络延迟、持续费用以及对系统栈控制力较弱的代价。我们在完全相同的输入下比较这两种方式。
本地能耗可以直接观测；托管式推理的能耗则无法从 API 推导出来。
模型
结构化本地实验组使用 Qwen3-VL-8B、Gemma 4-12B、Qwen3.5-9B、Qwen2.5-VL-7B、Ministral 3-8B 和 MiniCPM-V-4.5。记录使用 Ollama 0.32.5 构建的 Q4_K_M 版本，并在一块 A100-80GB 上依次运行。
预检阶段为每个模型固定一种请求模式。精确摘要值和模板均已发布。
经渲染器校准的构造式控制器
结构化控制器基于经过校准的俯视表示运行，其中明确标注了自车参考点和车道约定。除发布的模拟器画面外，我们还提供带图例的视图，并通过将场景沿车道轴反射来评估对称性一致性。
对称共识纵向守护器
我们在事后分析中复用已完成的本地调用，同时对信息泄漏进行控制。预先设定的 16 帧准入集会从 6 个模型中选出 2 个，并在 4 次危险投票中确定一个阈值。两个模型分别评估原始视图和反射视图；在读取其余 272 帧之前，两项选择均已冻结。
当投票结果为 2–2 时，系统可以弃权。我们使用按片段聚类的 bootstrap 和嵌套式留一片段测试，来衡量不确定性与选择稳定性。
在离线模块化回放中，VLM 仅获得纵向控制权；碰撞和横向净空判断则由确定性的 RGB 解析器负责。
讨论与结论
MPC 实验明确了这种模块化策略的边界。能力足够强的底层优化器可以准确执行有效的参考轨迹，并利用已知的障碍物几何信息；但对于高层视觉意图中缺失的几何结构，它无法凭空重建。
因此，在下游加入 MPC 提升的是跟踪能力，而不是视觉落地能力：VLM 指令即使已经坍缩或偏向单侧，经过优化后仍然会保持这种坍缩或偏向。
合理的架构结论不是抛弃 VLM，而是将其控制权限限制在能够独立验证的能力范围内。在当前场景中，VLM 最可信的角色是选择性纵向危险监测器；度量几何、约束执行和驱动控制则应交由确定性组件或其他可验证组件负责。
代码获取
全部代码、数据和实验产物均已在 VLControl 仓库公开。该仓库包含完整的评估流程，包括输入消融测试、结构化本地控制器、MPC 实验和对称共识守护器。
常见问题
这项研究围绕视觉—语言控制器提出了什么核心问题？ 研究考察的是控制器是否真的使用了摄像头，而不是仅仅取得了看似有利的汇总控制指标。
为什么在模拟驾驶基准中，恒定动作策略可能看起来很有能力？ 因为基准奖励向前行驶、惩罚碰撞，所以始终减速的策略即使不使用感知，也可能接近最优。
MPC 组件发挥什么作用？ MPC 能改善对有效视觉意图的跟踪，但无法重建高层 VLM 指令中缺失的几何结构。
在这一场景中，VLM 被认为最可信的能力是什么？ 它们最适合作为选择性纵向危险监测器；几何判断、约束执行和驱动控制则应由确定性或可验证组件负责。