面向具身导航的视觉语言模型
大型语言模型（LLM）和视觉语言模型（VLM）的快速发展，显著推动了具身人工智能的进步，使机器人能够根据自然语言指令理解并推理复杂环境。与仅依赖几何表示不同，这些模型具备语义理解、开放词汇感知和上下文推理能力，使智能体能够执行超越传统导航目标的任务。
近年来，基础模型展现出日益广泛的具身能力。HabitatGS 在 AI Habitat 的基础上引入了由高斯泼溅构建、并包含动态人类的照片级真实感场景，为具身推理提供了更逼真的基准。EmbodiedFM 等具身基础模型在数百万条跨机器人领域的导航示范上进行训练，涵盖家用机器人、无人机和自动驾驶车辆等平台，并在多种导航任务中展现出较强的零样本泛化能力。
一些研究还探索了由推理驱动的导航方法。OctoNav 提出了“行动前思考”范式，通过强化学习利用指令—轨迹对训练导航策略。NavR1 则进一步结合群组相对策略优化（Group Relative Policy Optimization）与思维链监督，共同学习对话、规划、推理和导航。这些方法表明，显式推理能够提升具身决策能力，但通常需要大规模训练数据集和计算成本高昂的基础模型。
与这些方法不同，OptiSight 无需端到端策略学习，也不需要大规模导航数据集。相反，它仅利用预训练 VLM 进行语义感知和高层推理，并将连续运动生成交由确定性的几何控制模块完成。
语义与目标物导航
目标物导航已成为具身人工智能的重要基准，要求智能体根据语义类别寻找目标，而不是前往预先指定的坐标。OVON 通过引入超过 15,000 个物体实例，显著拓展了这一任务，并展示了利用语义表示进行开放词汇目标物导航的能力。
后续研究主要通过引入记忆增强推理来提升导航效率。EfficientNav 将零样本 LLM 规划与语义记忆检索、记忆聚类相结合，从而减少重复推理和推理延迟。HiRobot 等分层推理框架则将复杂的用户指令分解为层级化子目标，并结合用户反馈不断完善导航计划。
尽管这些方法提升了语义导航能力，但它们通常需要在执行过程中反复进行 LLM 或 VLM 推理，从而增加计算开销。相比之下，OptiSight 仅在关键决策点调用语义推理，同时通过轻量级视觉伺服实现连续导航，大幅降低延迟。
语义定位与思维链推理
除了导航之外，类似的推理范式也被应用于机器人操作。ALRM 将 ReAct 式推理与可执行代码生成、基于工具的规划相结合，用于执行长时程操作任务。
尽管这些方法展示了显式推理的优势，但许多方法会在任务执行期间持续调用大型 VLM，导致较高的计算成本和推理延迟。相比之下，OptiSight 采用状态驱动的思维链架构：只有在有限状态机发生关键状态转换时才调用语义推理，而连续的底层运动则由确定性的视觉伺服完成。高层推理与几何控制的分离，使系统既能实现可解释导航，又能在资源受限的机器人平台上保持实时性能。
方法
OptiSight 是一个闭环自主导航框架，融合了视觉语言模型推理、开放词汇目标定位、几何投影和确定性运动控制。在当前实现中，系统用于执行高层导航指令“走出房间”。为完成这一任务，框架将指令分解为一系列语义推理与几何导航阶段。
在 Navigate 状态中，相机保持向下的朝向，持续监测规划路径；比例转向指令则驱动机器人沿一系列三维航路点前进。航路点根据规划轨迹生成，当机器人接近当前目标航路点并达到指定距离阈值后，系统会依次将其移除，从而确保轨迹跟踪平滑、运动执行稳定。如果语义目标丢失或规划路径失效，有限状态机会切换至 Recover 状态，由 VLM 再次建立导航目标，然后恢复执行流程。
以下小节将介绍有限状态机各个状态所执行的操作，以及所提出方法的实际实现。
有限状态机
Find
检测到目标后，框架会切换至 Find 状态，由 Grounded-SAM 执行开放词汇定位，以获取目标的精确分割结果。为提升定位稳定性，系统最多连续执行三轮推理，生成一致且低噪声的边界区域。随后，系统利用几何投影模型，将图像坐标投影到三维相机参考坐标系中，得到导航目标的空间位置。投影成功后，系统进入 Scan 状态。
双隔离系统架构
OptiSight 采用双隔离执行架构，将语义推理与几何导航分隔在两个相互独立的运行环境中。两个环境通过轻量级套接字接口通信，使每个组件能够在各自的软件栈中运行，同时仅交换导航所需的信息。
第一个环境运行 Habitat-Sim 和几何导航流程，其中包括有限状态机、相机控制、几何投影、路径规划、航路点生成和运动控制。第二个环境承载视觉语言模型与 Grounded-SAM 推理流程，负责语义推理和开放词汇目标定位。
两个环境之间采用异步通信。每当需要进行语义推理时，导航模块便将当前观测和任务提示发送至 VLM 服务器，由服务器独立完成推理并返回语义预测结果。由于 VLM 仅在有限状态机定义的语义决策点被调用，几何导航能够在后台执行推理期间持续运行，不会被中断。收到响应后，有限状态机利用推断出的语义信息继续执行。
这种架构隔离了机器人框架与 VLM 框架的依赖，使现代多模态模型能够与遗留机器人软件协同使用，避免兼容性问题。此外，将语义推理与几何控制分离还能提升资源利用率，使完整系统能够在 8 GB 显存预算内运行，适合部署于 NVIDIA Jetson 等资源受限的边缘平台。
实验
所选场景用于评估 OptiSight 在以下六类典型导航挑战下的鲁棒性：
- 单障碍物避障。
- 双障碍物推理。
- 结构相似物体之间的语义消歧。
- 需要主动视觉搜索的部分可观测环境。
- 产生几何畸变的极端视角。
- 由反射表面引发的感知歧义。
前面三类场景主要评估导航和语义定位能力，后三类则侧重考察可能对基于 VLM 的推理造成挑战的感知与几何歧义。因此，这组场景能够全面评估所提框架的语义与几何组件。
我们使用以下指标评估 OptiSight：
- 任务成功： 表示导航目标是否成功完成的二值指标。如果任务在至少一半的独立运行中完成，则认为该场景成功。
- 成功率： 所有试验运行中的成功运行占比。
- 执行时间： 完成导航任务所需的时间，以秒为单位。
- 总距离： 智能体累计行驶的距离，以米为单位。
- 总步数： 执行期间记录的状态转换、动作和移动步数总和。
- 碰撞次数： 与环境障碍物发生物理碰撞的次数。
- 恢复次数： 导航过程中触发的恢复或避障流程次数。
- VLM 请求次数： 一个导航回合中执行的 VLM 推理调用次数。
- 最小障碍物距离： 导航过程中，智能体与任意检测到的三维障碍物之间的最小欧氏距离，以米为单位。
这些指标共同刻画了系统的任务级性能和内部行为。成功率、执行时间和行驶距离用于衡量导航效果，碰撞次数和最小障碍物间距用于量化安全性。VLM 请求次数、解析失败次数和恢复动作则进一步反映系统的计算与运行鲁棒性。
结论
OptiSight 是一个混合式自主导航框架，将选择性视觉语言模型推理与确定性几何导航相结合。通过融合有限状态机、基于 Grounded-SAM 的目标定位以及视觉到三维的几何投影，OptiSight 能够将高层语义指令转化为可执行的导航动作，同时避免持续进行 VLM 推理和使用计算成本高昂的建图流程。
在 AI Habitat 的 24 个室内导航场景中进行的评估表明，OptiSight 能够成功应对多种导航条件，包括避障、语义歧义、部分可观测环境和具有挑战性的视角，同时仅需有限次数的 VLM 查询。这些结果表明，将语义推理与轻量级几何控制相结合，有望实现高效的具身导航。
未来的工作将重点扩展框架所支持的导航任务范围，并在实体机器人平台上验证 OptiSight。
常见问题
OptiSight 是什么？
OptiSight 是一个闭环自主导航框架，将基于 VLM 的语义推理与确定性几何控制相结合。
OptiSight 如何降低 VLM 的计算开销？
它仅在关键决策点调用语义推理，连续导航则由轻量级视觉伺服完成。
双隔离架构分隔了哪些部分？
它将 Habitat-Sim 几何导航流程与 VLM、Grounded-SAM 语义推理流程分隔开来。
评估涵盖了哪些导航条件？
评估涵盖避障、语义歧义、部分可观测环境、极端视角以及反射表面造成的歧义。