研究人员构建了一个名为WAM-Nav的单一导航模型，可在人形机器人上处理多种目标类型——点、图像、语言。通过联合预测未来的视觉观察和动作，该模型将多样化的导航任务统一到一个框架中，无需针对特定任务进行重新训练。
目录
研究人员构建了什么
WAM-Nav（世界-动作导航建模）是一种生成式、基于Transformer的策略，将相机观察和用户指定的目标直接映射到机器人动作。其关键创新在于非对称潜在架构：模型同时学习世界的压缩表示（机器人预期看到的下一帧）和动作（如何移动），但两者处于不同的潜在空间。这使得模型能够在单个训练过程中同时推理视觉预见和运动指令。
该系统在配备英特尔RealSense D455深度相机和机载RTX 4060 GPU的Unitree G1人形机器人上进行了测试。它运行一个滚动时域控制循环：在每一步，模型采样16条候选轨迹并执行第一条，然后重复。该框架接受三种目标模态——图像上的2D点、自然语言指令或目标图像——而无需改变底层模型架构。
关键成果
在仿真基准测试中，WAM-Nav在性能上匹配或超越了先前的单任务导航策略（如NavDP），同时是第一个在统一框架中处理所有三种目标类型的模型。关键成果是跨目标模态的均衡性能：以往的方法往往偏向一种目标类型（例如，图像目标优于语言目标），而WAM-Nav无论目标是指定为点、图像还是句子，都能实现一致的导航成功率。
在Unitree G1人形机器人上的真实世界测试表明，模型在机载GPU上以1 Hz的推理频率运行（占用约1.3 GB内存），输出的轨迹由50 Hz的模型预测控制器跟踪。该系统仅使用前置深度相机（向下倾斜20°）即可成功在动态障碍物环境中导航。
文献中没有任何单一任务方法能同时在所有三种目标类型上达到竞争性能——WAM-Nav是第一个实现这种统一且无需针对每项任务重新训练的模型。
工作原理
WAM-Nav基于流匹配生成框架构建，类似于扩散策略，但采用非对称设计，将世界建模与动作建模分离。核心流程包含三个阶段：
- 目标对齐模块 – 用户的目标（点、图像或文本）通过模态特定编码器生成基础嵌入。该嵌入随后被投影到两个独立的标记空间：一个用于条件化世界模型，另一个用于条件化动作模型。这种“非对称”设计保留了与每个子任务相关的信息，同时保持统一的接口。
- 潜在世界-动作模型 – 一个Transformer处理当前观察（RGB-D图像）以及目标条件标记。它同时预测潜在的未来观察（“世界标记”）和潜在的动作轨迹（“动作标记”）。世界和动作潜在表示独立建模，但共享相同的Transformer骨干网络。训练使用流匹配速度回归损失，学习从噪声分布到目标和动作潜在表示目标分布的连续变换。
- 滚动时域控制 – 部署时，模型接收当前观察和目标，然后从学习到的分布中采样16条候选轨迹。选择第一条轨迹并传递给模型预测控制器，该控制器以50 Hz的频率将规划路径转换为电机速度命令。该过程每1秒重复一次（模型的推理频率）。
系统完全在机器人的RTX 4060 GPU上运行，内存占用1.3 GB，无需云连接即可实现实时闭环导航。
这对机器人技术为何重要
WAM-Nav解决了移动机器人领域的一个基本痛点：为不同目标类型需要独立的导航堆栈。例如，仓库机器人可能需要在坐标间导航、跟随照片中的人或响应语音指令——传统上需要三个独立的模型。WAM-Nav将这一切整合为一个。
对于人形机器人和其他为人类环境设计的移动平台而言，能够接受任何格式的目标（尤其是自然语言）大大降低了非专业操作员的使用门槛。工厂经理只需对机器人说“去装货区”，无需编程坐标或拍摄目标图像。
非对称潜在设计也指向了更具样本效率的训练：通过同时学习世界动态和动作策略，模型可能以更少的演示更好地迁移到新环境，这是实际部署的关键要求。
局限性与未解决的问题
真实世界测试中出现了两种失败模式。首先，固定的前置相机（向下倾斜20°）无法捕捉机器人正下方的障碍物，导致偶尔的延迟避碰。其次，模型没有明确考虑机器人的全身几何形状——它将导航视为相机级问题，忽略了躯干或肢体是否会与狭窄通道碰撞。
这些局限性暗示了两个未来方向：由策略本身控制的适应性相机视角（主动感知），以及模型同时学习机器人形状和运动学的具身感知训练。此外，1 Hz的推理频率在高度动态环境中可能过慢——延迟改进或预测跟踪是开放的工程挑战。
论文没有系统性地解决模拟到现实的迁移问题；所有训练均在仿真中完成，在真实硬件上部署需要仔细的相机标定和MPC参数调整。
常见问题解答
WAM-Nav与先前的导航策略有何不同？ 它是第一个无需特定任务重新训练即可处理点、图像和语言目标的单一模型，这得益于其非对称潜在世界-动作架构。
运行WAM-Nav需要什么硬件？ 深度相机（例如英特尔RealSense D455）和至少1.3 GB内存的GPU（如RTX 4060）足以进行实时机载推理。
WAM-Nav可以用于轮式机器人或其他形态吗？ 当前版本未对机器人的具身进行建模，因此迁移到不同平台需要重新调整控制器，并可能需要使用具身感知条件进行重新训练。
模型在机器人上运行速度如何？ 推理频率为1 Hz，轨迹跟踪使用模型预测控制器达到50 Hz，能够在室内环境中实现平滑导航。
结论
WAM-Nav证明了一个单一的生成式导航策略可以处理多种目标模态，且不牺牲性能。通过在非对称潜在空间中联合学习世界和动作表示，该模型为真正通用的机器人导航提供了一条实用路径。
如果你能通过指点或说话告诉人形机器人去哪里，你将如何改变在工厂中使用机器人的方式？