基于这一接口,我们构建了一个端到端系统,仅使用紧凑型视觉语言模型(VLM)骨干和基于 token 的输出。自动化双通道标注流水线将导航目标投射到统一的指向空间中。具备时间感知能力的视觉历史压缩机制,在受限的视觉 token 预算内,同时保留近期细节与长时程上下文。基于 RVQ 的动作 tokenizer 将短时程轨迹转换为语言模型 token,再由执行层映射为适配具体平台的控制信号。通过具身推理中期训练、结合 DAgger 的监督微调,以及在线强化学习,模型逐步实现感知、推理与控制的对齐。
LightNav-0 在 10 个公开导航仿真设置中接受评估,涵盖遵循指令的视觉语言导航、目标物导航和具身视觉跟踪。配套的指向与空间 VQA 评估用于检验导航适配是否保留了 VLM 原有的指向与空间定位能力。真实世界演示则进一步考察模型在不同机器人形态、户外场景和动态目标之间的迁移能力。综合来看,这些实验验证了一个核心假设:紧凑型 VLM 骨干可以为跨任务、跨具身形态的导航提供统一且可迁移的基础。
语言与视觉思维链
LightNav-0 在固定长度的轨迹中,将显式推理与视觉定位结合起来。其双通道指向前缀分别预测可行局部运动所需的可供性点,以及目标物或目标位置对应的物体点。两者均采用带通道标识的图像网格 token 表示,利用骨干模型预训练形成的空间定位能力,而不是将其替换掉。同一表示方式同时支持遵循指令的视觉语言导航、开放词汇目标物导航和具身视觉跟踪。
该前缀与动作使用相同的 token 空间进行监督,每次决策只需固定数量的 token。因此,它既保留了显式推理步骤的可解释性,又避免了自由文本思考或额外规划系统带来的可变解码延迟。

强化学习后训练
长期以来,强化学习一直是具身导航中模仿学习的有力补充,从大规模分布式在线策略训练,到后来的 Transformer 规模化方法,再到先进行模仿预训练、随后开展强化学习微调。这些策略通常面向特定任务,并在少量离散动作原语上运行,因此动作概率可以直接获得,轨迹采样成本也很低。但当策略变为通用视觉语言动作模型后,这两点都不再是理所当然的。
采用连续动作头的策略能够恢复精度,却会失去这一特性。SimpleVLA-RL 因此保留自回归策略,并提供仅包含结果信息的奖励;而基于流的策略则必须先将去噪过程重新表述为马尔可夫决策过程,之后才能应用策略梯度。
统一的自回归目标
导航样本与辅助 VQA 样本采用相同的因果语言模型目标进行训练。
模型在给定输入上下文的条件下,最小化监督输出 token 的负对数似然。
训练与推理效率
紧凑且完全自回归的接口支持对变长样本进行打包,无需将每个样本补齐到统一的最大长度。每个 8,192-token 的训练序列平均动态打包约 8.6 个样本。
融合视觉旋转位置编码操作,并将 LM head 的维度对齐到 8 的倍数,可进一步降低算子和内存开销。由于模型不包含任何任务专用动作模块,这些优化可以统一应用。
具身推理数据
11 个单图 VQA 数据源提供带索引的监督信号。其中 3 个独立数据集为 SenseNova-SI Spatial、CLEVR Spatial VQA 和 SAT Spatial VQA。其余 8 个数据集为 VSTP-SI Depth Comparison、VSTP-SI Distance、VSTP-SI Scene Caption、VSTP-SI Measurement、VSTP-MI Correspondence、VSTP-MI Object–Object Relation、VSTP-MI Camera Motion 和 VSTP-MI Scene Caption。
这些问题涵盖相对位置、度量深度与距离、物体之间的关系、相机运动、物理测量、场景描述以及面向可供性的推理。这样的数据组合促使模型同时掌握左/右、前/后等定性关系,以及区分可通行自由空间与视觉上合理但几何上无效目标所需的定量线索。

导航数据
遵循指令的数据组合将 R2R 和 RxR 中使用随机相机视角采集的专家轨迹,与自蒸馏路径和 ScaleVLN 数据结合起来。与单独使用人工标注语料相比,合成数据和自蒸馏数据提供了更广泛的场景与指令多样性。
专家路径、合成路径和自蒸馏路径共同使模型接触到细粒度的语言对齐,以及大规模的几何变化。
评估基准
导航评估涵盖 3 类任务中的 10 个仿真设置。在 R2R 和 RxR 的 validation-unseen 划分上评估连续指令跟随能力。在 MP3D 以及 HM3D v1/v2 上评估闭词汇表 ObjectNav,并在 HM3D-OVON 上评估开放词汇泛化能力。具身视觉跟踪则在 EVT-Bench 的 STT 和 DT 设置上进行评估。
所有导航基准均使用同一个 checkpoint,未进行针对特定基准的微调。
INSIGHT-Bench
INSIGHT-Bench 通过异构的基于网格和 3D Gaussian splatting 的环境扩展了数据分布。它包含 1,683 个场景和 53,090 个训练 episode,以及 210 个场景和 1,097 个评估 episode。两种划分的数据来源构成详见论文。

具身推理中期训练
单纯进行专门化训练,可能会削弱模型从骨干继承的通用视觉语言能力。因此,我们采用“先专门化、再保持能力”的训练课程:在后续监督阶段,将重新平衡后的具身推理数据与导航数据一同用于复习训练。
第二阶段在将模型对齐到具身动作生成的同时,保留具身推理中期训练获得的指向、定位和空间推理能力。由此形成的训练课程,在引入跨任务导航监督之前,先建立统一的感知与推理基础。
跨域与真实世界泛化
我们在训练所用仿真域之外,对统一空间接口进行了定性评估。这些演示均使用同一个 LightNav-0 checkpoint,未进行针对特定域的微调。
由于虚拟环境与物理环境并不共享标准化的动作空间或成功判定协议,这些轨迹评估的是迁移能力的广度,而不是提供可量化的基准对比。
规模分析
模型容量、数据规模和环境覆盖范围呈现出不同的扩展规律。
将骨干模型从 2B 扩展到 4B 后,R2R 的成功率和成功加权路径长度从 59.9/55.4 提升至 68.5/62.8,RxR 的成功率和成功加权路径长度则从 64.0/57.9 提升至 73.6/64.5。四项指标的增幅为 6.6–9.6 个百分点。
继续扩展到 8B 并不会稳定带来收益:R2R 的成功率和成功加权路径长度分别下降 1.6/0.5 个百分点,RxR 的成功率下降 0.5 个百分点,但 RxR 的成功加权路径长度上升 2.0 个百分点。在测试过的 checkpoint 中,4B 模型因此实现了最优的容量–性能权衡。8B 模型结果不一,说明在这一规模下,仅增加参数并不能保证导航性能更好。
数据规模扩展带来了单调但逐渐饱和的提升。从 1/16 训练集扩展到完整训练集后,R2R 的成功率和成功加权路径长度从 53.0/47.1 提升至 68.5/62.8,RxR 的成功率和成功加权路径长度则从 56.2/49.5 提升至 73.6/64.5。这些结果带来了 15.0–17.4 个百分点的增益。
大部分提升在最后一次翻倍之前就已获得:将数据比例从 1/2 增加到完整训练集,R2R 仅增加 0.8/0.9 个百分点,RxR 仅增加 1.4/0.4 个百分点。因此,在测试范围内,更多训练数据仍然有益,但随着训练集接近完整规模,其边际收益会逐渐下降。
结论
这一框架还可以沿多个方向扩展。首先,当前模型采用单一决策路径,没有明确区分高频局部控制与更慢的语义思考。双系统可以将轻量级反应式策略用于避障和高频轨迹修正,同时由速度较慢的 VLM 规划器负责长时程推理。
其次,在互联网规模的视频数据上进行更强的预训练,可以拓展开放世界概念覆盖范围,使模型接触到比精选具身数据集更罕见的场景、交互和运动模式。
贡献者与致谢
- 训练基础设施: Qianli Ma、Ran Mei 和 Jia Wei
- 数据基础设施: Fei Huang、Shaoan Wang、Jingyi Xu、Yueyu Wang 和 Aocheng Luo
- 中期训练: Shaoan Wang 和 Fan Yang
- 监督微调: Shaoan Wang 和 Aocheng Luo
- 后训练: Aocheng Luo 和 Shaoan Wang
- 基准测试: Fei Huang、Shaoan Wang、Jingyi Xu 和 Yueyu Wang
- 真实世界部署: Xiaoyang Wang、Jiangpeng Hu、Xuhao Liu、Hongming Chen、Yuanbin Shao、Yiyang Lin 和 Ziliang Li
- 撰写: Shaoan Wang、Tingxiang Fan、Aocheng Luo、Fei Huang、Liang Pan、Xinhang Liu 和 Yuntao Ma
- 项目负责人: Tingxiang Fan 和 Shaoan Wang
作者感谢 Bo Liang、Yuxuan Xie、Jiaxin Li 和 Tianwei Zhang 对早期基础设施建设及初步技术探索所作的贡献。同时感谢 Shiyao Zhang 和 Shuqi Liao 拍摄、剪辑真实世界视频,并感谢 Kaisong Chen 设计封面。
作者感谢 LimX Dynamics 和 Manycore Tech 的合作伙伴在实体部署与仿真方面提供的支持。
常见问题
LightNav-0 旨在完成什么任务? LightNav-0 是一个通用导航系统,面向遵循指令、目标物导航和具身视觉跟踪,可跨任务和机器人形态运行。
LightNav-0 如何表示导航目标? 它使用双通道指向前缀,分别表示可供性点和物体点,并将二者编码为带通道标识的图像网格 token。
系统采用哪些基准进行评估? 评估涵盖 3 类任务中的 10 个仿真设置,包括遵循指令的导航、闭词汇表与开放词汇 ObjectNav,以及具身视觉跟踪。
哪种模型规模实现了最优的容量–性能权衡? 在测试过的 checkpoint 中,4B 模型实现了最优的容量–性能权衡。
