一种名为 MaskWAM 的新型模型将视频预测与未来掩码预测相结合，帮助机器人聚焦于任务关键物体。通过学习预测场景外观和重要区域，该系统在杂乱多变的环境中实现了更鲁棒的操作。
目录
研究人员构建了什么
MaskWAM 是一种端到端的世界-动作模型，它在标准 RGB 视频预测基础上增加了辅助的未来掩码预测。核心思想很简单：机器人在学习预测未来帧的同时，也学习预测任务相关物体的分割掩码。这迫使模型将动作锚定在空间明确区域，而非平等对待每个像素。
该系统采用扩散变换器架构，包含两个分支：一个是视觉分支，联合去噪 RGB 和掩码潜在表示；另一个是轻量级动作专家，去噪动作块。语言指令通过交叉注意力注入，本体感觉状态信息则融合到动作分支中。在部署时，机器人可以可选地使用首帧掩码提示（由 SAM3 根据语言指令或人类点击自动生成），以消除模糊任务中的目标歧义。
该模型在模拟环境和真实世界的双臂 Xtrainer 机器人上进行了训练和评估，机器人配有头戴式 RealSense D455 和腕戴式 D405 摄像头。标注流程使用 Qwen3-VL 和 SAM3 根据语言指令自动生成掩码，并辅以人工验证——91% 的片段无需修正。
关键结果
MaskWAM 在两个基准上进行了评估：加州理工机器人操作基准（CRBM）和一组真实世界操作任务。在 CRBM 上，该模型在多个泛化类别上优于先前的世界-动作模型。
- 干扰物鲁棒性：当工作区引入新干扰物时，MaskWAM 的成功率比最强基线提高了 15 个百分点。
- 视觉变化：在光照、背景纹理和相机视角变化下，MaskWAM 保持了 88% 的成功率，而最佳 RGB 世界模型仅为 71%。
- 语言模糊任务：当指令无法指定目标物体时（例如，有两个杯子时“拿起杯子”），首帧掩码提示将准确率从 43% 提升至 92%。
- 真实世界部署：在使用 Xtrainer 的拾放、倒水和堆叠任务中，MaskWAM 的成功率为 82%，而强大的 RGB 基线为 67%。最大的提升出现在存在显著遮挡或视觉相似干扰物的任务中。
这些结果表明，将掩码预测直接添加到潜在扩散流程中，能够产生更关注任务的策略，而无需额外的推理时处理。
工作原理
MaskWAM 建立在 Mask-of-Thought（MoT）架构之上，该架构在训练中已经使用了潜在掩码。关键创新在于将未来掩码预测作为联合优化目标，与 RGB 帧并列。
流程始于一个冻结的 VAE 编码器，它将 RGB 帧和掩码帧压缩到共享的潜在空间。这些潜在表示在通道维度上拼接后，进入扩散变换器主干。通过将掩码信息与预训练的视觉潜在空间对齐，每个潜在位置同时编码外观和任务相关的空间指导。
MoT 架构有两个分支：
- 视觉分支：一个标准 DiT 在一系列时间步上去噪融合的 RGB + 掩码潜在表示。来自冻结 T5 编码器的语言特征通过交叉注意力注入。
- 动作专家：一个轻量级变换器去噪动作速度块。它以本体感觉状态和带噪声动作为输入，然后通过对视觉分支特征进行联合注意力来生成控制预测。
训练目标结合了三个流匹配损失：
- RGB 视频流损失
- 掩码表示流损失
- 动作轨迹流损失
这个联合损失鼓励模型学习与任务关键区域显式对齐的视觉动态。在部署时，模型可以接受可选的首帧掩码提示。如果提供，掩码被编码并作为初始掩码潜在表示输入，从而有效将整个 rollout 锚定到该目标。如果未提供，模型从头开始预测掩码。
自动标注流程使用视觉语言模型（Qwen3-VL）解析指令，并使用 SAM3 跨片段分割和跟踪掩码。对于模糊任务，人类在首帧上提供一个点。该流程大约需要 3 分钟标注 50 个片段。
对机器人技术的意义
MaskWAM 解决了当前世界模型的一个基本局限性：它们平等对待所有场景元素，因此容易受到干扰物和物体变化的影响。通过显式预测哪些区域重要，模型发展出更关注任务的表示，泛化能力大幅提升。
对于真实世界部署，这意味着机器人可以在杂乱环境中操作——仓库中不断变化的库存、厨房中不同的餐具摆放、或带有新零件的装配线。该模型使用首帧掩码提示的能力还实现了零样本消歧：无需为每个新物体布置重新训练，操作员只需在首帧上点击目标即可。
该方法与架构无关，可应用于任何基于扩散的世界模型。对于机器人从业者，这提供了一条实用的升级路径，无需重新设计现有系统。该系统使用标准硬件（RealSense 摄像头、双臂平台）和开源组件（SAM3、T5、Qwen3-VL），使其易于在实验室和公司中部署。
对于希望部署类似操作系统的用户，可以查看 Robot Overflow 上的人形机器人 获取双臂平台，或 二手协作机器人 用于更轻量级的自动化任务。
局限性与开放问题
MaskWAM 在训练期间依赖掩码监督，在部署期间依赖分割生成的提示。虽然自动标注流程高效，但在真正杂乱的真实世界环境中提取可靠掩码——例如透明物体、重叠部件或光照不足——仍然不简单。在控制较差的条件下，该流程 91% 的自动接受率会下降。
论文还承认，由于计算限制，未进行大规模 RGB-掩码-动作预训练。扩大规模可能进一步提升性能，尤其是在分布外场景中。此外，当前评估侧重于短程任务；需要连续掩码推理的多步任务尚未探索。
最后，该模型在推理时需要掩码预测，增加了计算开销。虽然作者表明这一点很小，但掩码质量与推理速度之间的权衡在实时应用中还需要更多研究。
常见问题
MaskWAM 的核心创新是什么？ MaskWAM 在标准 RGB 视频预测基础上增加了辅助的未来掩码预测，迫使模型在训练和推理时都聚焦于任务关键区域。
MaskWAM 在训练期间需要手动掩码标注吗？ 不需要。作者构建了一个自动流程，使用 Qwen3-VL 和 SAM3 根据语言指令生成掩码，仅在模糊情况下需要人工验证。91% 的片段无需修正。
首帧掩码提示如何工作？ 在部署时，用户可以提供首帧上的掩码——通过语言自动生成或通过点击手动创建。该掩码被编码到潜在流中，将整个 rollout 锚定到该目标。
真实世界实验使用了什么硬件？ 一个双臂 Xtrainer 机器人平台，配备 RealSense D455 头戴式摄像头和 D405 腕戴式摄像头用于近距离视图。
结论
MaskWAM 表明，对于鲁棒的机器人操作，预测重要内容与预测发生的事件同样重要。通过将掩码提示和掩码预测统一到扩散变换器中，该模型在干扰物、变化和模糊指令下实现了显著更好的泛化能力——且无需对架构进行重大修改。
每个未来的世界模型是否都应包含掩码预测，还是存在像素级动力学就足够的任务？