NavWAM学习一个联合的世界-动作预测模型，将视觉预见转化为目标条件视觉导航的闭环策略。通过将未来观察、目标进展值和可执行动作块表示在共享的潜在序列中，NavWAM将未来感知、进展估计和动作生成作为一个耦合的预测问题来学习。
视觉预见与动作选择
在部分可观测条件下，成功的导航需要两个耦合的能力：预测移动后视野如何变化，以及选择使机器人更接近目标的动作。直接策略将此作为一个单一的动作预测问题来学习，在测试时高效，但模型并未明确训练预测执行动作后看到的内容。
NWM通过预测基于候选动作的未来观察来明确未来预测，但它们仍然需要单独的动作选择过程来选择要执行的候选动作。这在直接动作预测和明确的未来预测之间造成了鸿沟。
从导航世界模型到NavWAM
NWM方法表明，未来自我中心图像预测可以通过基于CEM的规划来支持导航：采样候选动作序列，预测其未来观察，并选择得分最高的轨迹。然而，该流程仍将未来预测和动作选择视为分离的步骤：模型预测可能的未来，而外部程序决定哪个未来指示目标进展以及应执行哪个动作。这种分离增加了测试时的计算量，并使闭环行为依赖于候选采样、评分和优化。
NavWAM通过学习联合的世界-动作预测来解决这一分离问题。
方法
NavWAM使用预训练的视频世界模型参数化一个闭环导航策略。NavWAM不是仅用模型来预测外部规划动作的未来视图，而是将导航控制所需的变量表示为共享的潜在画布。当前观察、图像目标、机器人状态、动作块、未来自我中心观察和目标进展值被分配到同一扩散变换器序列中的不同潜在帧。这将目标条件导航转化为未来感知、进展估计和可执行运动的联合去噪问题。
世界-动作潜在画布
图像帧通过因果VAE编码为标准视频潜在变量。非图像变量，包括状态、动作块和标量值，经过归一化后在潜在空间网格上广播。通过平均对应帧的去噪条目来恢复其预测。这保留了预训练视频变换器接口，同时允许一个模型联合预测视觉和非视觉导航变量。尽管原则上相同的画布可以通过目标帧或文本条件接口扩展到语言或对象指定的目标，但本工作聚焦于图像目标导航。
训练目标
去噪损失应用于潜在画布的生成帧。损失包括扩散权重项，并以观察帧掩码、条件嵌入和观察到的潜在帧为条件。我们相对于其他预测帧提高了动作帧的权重，以确保低维动作信号不被高维图像重建损失淹没。
NavWAM不引入单独的动作或价值头。相反，动作、状态和标量值从其对应的去噪潜在帧中解码。因此，动作生成、未来状态预测、未来视图预测和价值估计作为同一个世界-动作去噪目标的一部分进行训练，而不是作为仅动作策略的辅助损失添加。对于导航，价值帧被训练来表示目标进展而非通用回报。这鼓励模型估计预测的未来状态是否使机器人更接近指定目标。
推理
NavWAM还支持可选的基于价值的最佳-N采样。在这种模式下，模型抽取N个候选动作块，使用辅助的世界模型和价值模式评估它们的预测未来和目标进展值，并执行具有最高预测值的块。在报告的主要结果中未使用这种可选模式。所有报告的主要结果都使用默认策略模式，无需CEM式动作搜索。
机器人平台
底盘是Direct Drive Tech Diablo，配备3D打印框架，搭载Intel RealSense D455 RGB-D相机、Livox Mid-360激光雷达、NVIDIA Jetson AGX Orin以及Orin和激光雷达的专用电池。平台通过ROS 2使用标准cmd_vel命令控制，用于执行NavWAM在部署期间预测的局部帧动作块。
训练课程
NavWAM分三个阶段训练。每个阶段从上一阶段初始化权重，并写入主论文中全程使用的单个检查点。训练使用hm3D模拟器轨迹的成功分割（由导航策略生成），滚动演示与专家轨迹一同采样。hm3D阶段使用长块来使模型暴露于模拟器中的长程视觉预见。
训练超参数
扩散目标通过乘数相对于未来图像帧提高了动作帧的权重。模型在三种条件下训练：策略模式基于观察帧预测动作、未来状态、未来图像和价值；世界模型模式也以动作帧为条件；价值模式以除价值标量外的所有帧为条件。
结论
NavWAM将未来感知、进展估计和动作生成作为单个耦合预测问题来学习。在评估中，这种联合公式在默认策略模式下无需CEM式动作搜索，相较于基于规划的世界模型基线提高了导航性能，与更大的直接导航策略保持竞争力，并迁移到真实机器人图像目标导航的闭环控制。这些结果表明，未来预测对于机器人导航最有用的方式是将其与决定闭环行为的动作和价值目标一起学习，而非作为独立的规划模块。
评估聚焦于室内环境的图像目标导航，更广泛的关于语言或对象指定目标的评估留作未来工作。真实世界研究的规模有限，覆盖四个环境中的24个闭环回合。
常见问题
NavWAM与传统导航世界模型有何不同？ NavWAM学习一个联合的世界-动作预测，将未来观察预测、动作生成和价值估计组合到单个扩散模型中，而不是将未来预测和动作选择作为分离步骤处理。
潜在画布如何工作？ 非图像变量（如机器人状态、动作块和目标进展值）经过归一化后在潜在空间网格上广播，并从其对应的去噪潜在帧中解码，从而保留预训练视频变换器接口。
NavWAM在测试时需要CEM式动作搜索吗？ 不需要，默认策略模式使用单个去噪过程，无需CEM式动作搜索，尽管提供了可选的基于价值的最佳-N采样模式。
NavWAM的主要限制是什么？ 评估聚焦于室内环境的图像目标导航，真实世界研究仅在一个平台上的24个回合中进行，推理成本主要由扩散链长度决定。