对于依赖记忆的任务而言，执行模型并不一定要在每个控制步骤都直接接收长时域视觉历史。这些历史信息主要用于确定下一段任务级规划以及期望的视觉变化，而执行过程则可以按照记忆驱动的规划完成。基于这一思路，我们提出了 MaP-WAM：它将长期记忆维护为多模态情景上下文，并在规划阶段将其作为证据，用于生成紧凑的任务规划。MaP-WAM 将记忆驱动规划与规划条件执行解耦，使执行器的上下文长度保持固定，在保留长时域视觉记忆细粒度 grounding 能力的同时，降低执行阶段的延迟。
MaP-WAM 在 RMBench 和真实机器人任务上的成功率分别达到 83.3% 和 78.0%；随着任务历史不断增长，执行器推理延迟仍基本保持不变。
主要贡献
Memory-as-Plans 框架
我们提出 MaP-WAM，将长时域情景证据转化为记忆驱动的任务规划，从而在保留视觉 grounding 的同时，实现固定上下文的执行。
记忆驱动规划
我们引入一个因果世界模型，将长期视觉上下文与预测得到的任务级语言规划结合起来，转化为视觉规划，为执行提供细粒度指导。
感知进度的执行
我们提出 WAP，对视觉动态、动作片段和执行进度进行联合建模，并将基于 MoT 的进度预测与规划—观测对齐相结合，从而支持可变时长执行和自适应任务段切换。
结论
我们提出了面向记忆依赖型机器人操作任务的 MaP-WAM。在这类任务中，执行所需的信息超出了当前观测。MaP-WAM 不再反复让执行器接收密集的视觉历史，而是将结构化情景上下文转化为记忆驱动的任务规划，把任务语义与预期的视觉变化联系起来。
通过结合记忆驱动规划与感知进度的执行，MaP-WAM 打通了规划、执行和上下文更新之间的闭环，同时保留规划阶段对长期、细粒度视觉证据的访问能力，并借助 KV 缓存实现固定执行器上下文下的高效推理。
在仿真环境和真实机器人上的实验表明，MaP-WAM 能够提升长时域记忆依赖型任务的表现；随着任务历史增长，每个动作片段的执行器延迟仍基本保持不变。
局限性
当前，MaP-WAM 依赖现有基准中已有的任务段结构来组织记忆和进度。下一步自然的研究方向，是通过自动任务段发现，将规划扩展到未分段的示范数据。
此外，规划—观测对齐机制目前采用了一种轻量、无需训练的匹配指标。在视觉环境更为复杂的场景中，学习得到的相似度度量或许能够进一步提升校准的鲁棒性。
常见问题
MaP-WAM 适用于什么任务？ MaP-WAM 面向记忆依赖型机器人操作任务，这类任务需要利用当前观测之外的信息。
MaP-WAM 如何利用长期视觉历史？ 它将长期多模态情景上下文作为规划阶段的证据，用于生成紧凑的记忆驱动规划。
感知进度的执行发挥什么作用？ 感知进度的执行对视觉动态、动作片段和执行进度进行建模，以支持可变时长执行和自适应任务段切换。
MaP-WAM 的成功率是多少？ 它在 RMBench 上的成功率为 83.3%，在真实机器人任务上的成功率为 78.0%。