一种全新的导航系统让机器人无需发出数百条细碎的移动指令，而是从少数几个有意义的位置中进行选择。该系统结合拓扑地图、图规划器和闭环强化学习，在陌生的模拟环境中提升了指令跟随能力，也让强化学习应用于长时域视觉语言导航成为可能。
目录
研究人员为视觉语言导航构建了什么？
研究人员为连续环境中的视觉语言导航（Vision-Language Navigation in Continuous Environments，简称 VLN-CE）构建了一套分层导航系统。这项任务要求机器人在陌生的三维环境中遵循自然语言指令，例如根据关于门、走廊、物体和目的地的描述，在房间之间移动。
大多数连续导航系统都在微动作层面运行。机器人需要反复选择“略微旋转”“向前移动”或“停止”等指令。一条较长的路线可能需要数百次这样的决策，因此一个小错误就会改变机器人的位置和视角。之后的决策会在训练数据未覆盖的状态下进行，错误也会不断累积。
这套系统则会在线构建环境的拓扑图。每个节点代表一个有意义的位置或路径点，图中的边表示可通行的连接。高层策略选择一个前沿节点——也就是机器人可以尝试抵达的候选位置——而不是逐条决定每个电机指令。
Graph Transformer 会处理拓扑图、视觉观测和语言指令。随后，独立的低层控制器负责执行抵达所选节点所需的短距离移动序列。这种分工形成了分层系统：高层规划器决定去哪里，低层控制器负责如何抵达。
该设计还支持闭环强化学习。完成预训练和模仿学习后，规划器会根据完整导航尝试获得奖励反馈；当指令与实际观测到的轨迹出现偏差时，它可以学习作出更好的选择。
这套导航系统取得了什么结果？
根据论文提供的文字，这套框架在 R2R-CE 和 RxR-CE 基准测试中达到了当前最佳水平。R2R-CE 使用较短的英语指令和最短路径，而 RxR-CE 包含描述性更强的多语言指令，以及不一定遵循最短路径的更长路线。
效率提升的核心在于：决策时域从数百个微动作缩短为大约 5–20 个宏观选择。由于强化学习只需在数量更少的高层决策序列上接收反馈，策略优化因此变得容易得多。
研究人员在同一套基于图的架构中测试了多种强化学习算法，并确定 Proximal Policy Optimization（PPO）表现最佳。最终的基于图的 PPO 系统优于直接在微动作空间中训练的基线方法。
当预训练数据集规模分别为可用数据的 25%、50%、75% 和 100% 时，闭环强化微调也都带来了稳定提升。在这四种设置下，经过 RFT 后，Success Rate 与 SPL 之和提高了 6.2 到 7.0 分。这种稳定增益表明，扩大数据集规模与强化微调解决的是不同问题。
由于原文摘录没有列出主要对比表中的具体数值，本文不提供具体的 Success Rate、SPL 和导航误差数据。
拓扑图导航系统如何工作？
该系统将导航视为一个分层马尔可夫决策过程。具体来说，机器人维护一个高层状态，其中包含指令、近期视觉观测，以及一张不断更新的已观测位置图。高层策略从可用前沿中选择一个，作为下一步宏观动作。
在线建图模块会随着机器人移动更新地图。新的视觉视角会成为节点，系统同时记录这些位置之间的连接关系。此前访问过的节点会保留在图中，因此当当前路线不再符合指令时，规划器可以回溯。
高层规划器使用多模态 Graph Transformer。其注意力机制能够将图中的节点与语言指令、视觉证据进行对照，帮助系统判断某个候选前沿是否相关。规划器会输出 action logits，对可用前沿进行排序；同时还会输出供 PPO 使用的价值估计。
由于每次观测暴露出的候选前沿不同，动作空间也会随图状态变化。传统的价值头可能难以应对这种动态动作集合。论文提出的动作感知价值头会在估计状态潜力时纳入当前可用的前沿选择，从而为 PPO 提供更有效的学习信号。
低层控制器采用启发式的“先旋转、后前进”流程。选定前沿后，控制器会朝目标转向并前进，直到抵达路径点或局部路线结束。随后，高层策略根据得到的新状态选择下一个前沿。
训练分为三个阶段：
- 预训练建立视觉语言和导航表征。
- DAgger 是一种模仿学习方法，它让模型接触自身访问过的状态，同时提供纠正性示范。价值头也会在这一阶段进行预热训练。
- 闭环 RFT 在完整导航回合上运行 PPO，并加入 KL 散度惩罚，使更新后的策略保持接近经过 DAgger 训练的模型。
最后这一阶段教会规划器利用奖励信号来提升指令遵循度，而不只是模仿专家动作。
这对现实世界的机器人意味着什么？
这项工作解决了一个常见的部署问题：当系统能够在有意义的决策点进行恢复时，长时域导航出错的概率会降低。能够返回此前观察过的门口或走廊的规划器，比只能根据当前摄像头画面作出反应的控制器，更有机会纠正错误转向。
规划与控制的分离同样有利于机器人系统工程。导航系统可以用成熟的局部规划器替换启发式低层控制器，同时保留高层图策略。这让该架构适用于室内移动机器人、服务机器人，以及在路线和障碍物不断变化的环境中运行的仓储机器人。
对于机器人集群运营者而言，更少的高层决策可以降低训练成本并简化调试。故障也更容易定位：是规划器选错了前沿、图结构遗漏了路线，还是局部控制器未能抵达有效节点。相比追踪数百个低层动作，这种诊断方式更具可操作性。
该方法还凸显了强化学习与模仿学习协同工作的价值。示范可以教会机器人如何导航，而闭环奖励则能教会机器人何时放弃糟糕路线、回溯，并让移动过程更好地符合指令。
主要局限和开放问题是什么？
系统的宏观动作受到路径点预测器的限制。只有预测器生成某个前沿，系统才能选择它，因此拓扑图并不能保证覆盖所有全局可达位置。即使物理路径确实存在，遗漏某个路径点也可能导致规划失败。
低层控制器同样只是启发式的“先旋转、后前进”流程，而不是稳健的局部导航系统。它尚未证明自己能够可靠应对动态障碍物、轮胎打滑、定位误差或现实传感器噪声。
评估在 Habitat 模拟器中的 R2R-CE 和 RxR-CE 上进行。这些基准测试了语言对齐和长时域导航能力，但无法证明系统在实体机器人上的表现。未来需要实现全局可达的宏观动作、更强的局部控制、现实世界测试，以及清晰的仿真到现实迁移方案。
常见问题
这项研究解决了什么问题？
它缩短了连续视觉语言导航中的决策时域。机器人选择拓扑图中的有意义位置，而不是通过强化学习学习每一个细小的移动指令。
这套系统中的宏观动作是什么？
宏观动作是选择拓扑图中的一个前沿或路径点。随后，低层控制器执行抵达该位置所需的移动。
为什么闭环强化学习有帮助？
它让规划器能够从完整导航尝试的结果中学习，包括错误转向和成功恢复。这种方法不仅是模仿示范，还能改进路线选择。
这套系统是否在实体机器人上进行过测试？
没有。论文报告的评估使用 Habitat 模拟器以及 R2R-CE 和 RxR-CE 基准，实体部署仍属于未来工作。
结论
拓扑图将连续视觉语言导航转化为更短的高层选择序列，使闭环强化学习变得更加可行。基于图的 PPO 和强化微调策略在多个基准设置下提升了导航表现，同时也为采用更强的局部控制器和部署到现实机器人铺平了道路。
未来的导航系统是否应当优先采用全局可达的图动作，而不是规模更大的视觉语言模型？