评测任务：衡量记忆能力的不同维度
我们在三个仿真任务和一个真实任务中，测试三种不同的记忆使用能力：
- 部分可观测条件下的计数
- 空间回忆
- 基于过往经验的上下文内适应
下面将对这些任务作高层次介绍，具体细节请参见附录。所有基线模型均通过示范数据进行有监督行为克隆训练。
DrawerRecall
DrawerRecall 用于测试空间回忆能力。首先，一台机器人打开三个抽屉中的一个，将立方体放入其中，然后关上抽屉。接着，另一台机器人——也就是待评测策略——必须打开存放立方体的那个抽屉。
BalanceBar
最后，我们在 BalanceBar 中测试上下文内适应能力。机器人有两次机会举起一根质心（CoM）未知的横杆，并使其保持水平。
示范首先从横杆中部尝试抬起，以此显露质心位置；随后在质心处抓取，从而平稳举起横杆。学习到的策略也必须做到同样的事情：利用历史信息确定质心位置，并在正确的抓取位置重新尝试。
工作空间模型成功实现了 VLM 推理的摊销
我们的核心动机，是将 VLM 在环路中进行缓慢且计算密集的历史总结过程，在训练阶段摊销为一个轻量级编码器，使其能够在部署时高效查询。
在评估下游策略性能之前，我们先验证这种摊销是否能够提升运行时效率。
工作空间模型为何能带来更好的任务表现？
本节解释一个出人意料的发现：工作空间模型虽然旨在摊销关键帧检索，却实际优于关键帧检索方法。
完整历史和关键帧历史都会导致控制失败
我们首先将不同方法表现出的失败模式分为记忆相关错误和控制相关错误。
记忆相关错误是指机器人正确执行了某项技能，却选择了错误的任务模式——例如，收起三个方块后就按下完成，而不是收起五个方块。
控制相关错误是指机器人未能执行某项操作技能——例如，抓取方块时没有抓住。
我们汇总了仿真实验中的失败结果。正如预期，VanillaDP 会遭遇不少记忆相关错误，但很少出现无法执行动作模式的情况。
基于关键帧的方法会引入控制混叠
显式帧选择方法——无论是 HistoryDP 采用的等间隔选帧，还是 Keyframe 采用的基于 VLM 的选帧——都会在训练期间形成一种混叠的输入结构。这种结构容易因训练分布狭窄而产生分布偏移。
工作空间模型为何具有更好的泛化能力？
工作空间模型自身的训练输入以及作为策略输入的模型输出，都表现出平滑性。
这种平滑性来自：
- 在时间维度上使用完整的全局注意力进行训练
- 工作空间模型的输出具有平滑性
讨论
我们提出工作空间模型，用于解决机器人操作中的长时程记忆问题。通过在训练阶段摊销 VLM 推理，我们得到了一种快速、稳健且泛化能力优于 VLM 在环方案的编码器。
我们提出的具体实现——将显著性集合表示为图像块，并采用 DETR 风格的解码器——只是实现这一理念的一种方式。许多替代方案以及其他形式的 VLM 监督都值得进一步探索。
例如，未来工作可以将该方法扩展到多摄像头流，编码语言推理轨迹，或加入动力学预测。
更广泛地说，我们希望本工作能推动人们采用这样的视角。其核心原则并不局限于机器人和记忆：凡是测试时需要反复查询强大的基础模型来解决结构化子任务的场景，都可能有机会将这种推理摊销到一个更快速、更稳健的学习模块中。
正如我们所展示的那样，摊销甚至可能带来优于在环使用更强模型的结果。
尽管工作空间模型表现良好，但它依赖一个完全自回归的 Transformer 编码器。这会使计算量随序列长度呈二次增长，在序列极长时变得难以应对。
为缓解这一问题，我们可以训练循环式工作空间模型，使用块对角注意力掩码来降低开销，或采用 KV 缓存。
工作空间模型还通过 VLM 获得关于哪些视觉信息具有显著性的监督，但这种监督未必能充分对应于哪些图像区域与控制相关。强化学习可以提供一种依据任务奖励进行对齐的途径。
最后，我们没有与使用语言总结和 VLA 的分层方法进行比较。未来可以研究这些方法，也可以进一步探索在多任务设置下如何将工作空间与通用策略结合起来。
致谢
我们感谢 Younghyo Park、Ryan Bahlous-Boldi 和 Antonia Bronars 对本工作的宝贵意见，也感谢 Improbable AI Lab 社区富有成效的讨论。
本研究获得韩国贸易、工业和能源部（MOTIE）资助，属于由韩国技术促进院（KIAT）负责的“全球产业技术合作中心项目”。项目编号：P0028435。
本材料所述研究得到美国国家科学基金会研究生研究奖学金（National Science Foundation Graduate Research Fellowship）支持，资助编号：2141064。
作者贡献
- Nitish Dashora： 共同提出项目方向，参与架构设计、实验设计、硬件实验、论文撰写和代码开发。
- Douglas Chen： 参与论文撰写、实验设计和代码开发。
- Idan Shenfeld： 共同提出项目方向，参与论文撰写和实验设计，并提供概念指导。
- John Marangola： 参与硬件实验。
- Pulkit Agrawal： 参与论文撰写并提供高层次指导。
- Max Simchowitz： 共同提出项目方向，参与架构设计、实验设计，并深度参与论文撰写。
事件检测
本节介绍 VLM 标注流程的具体细节。
工作空间 token 同时包含过去和当前的信息，在时间和空间两个维度上压缩信息。因此，在每个时间步，我们将显著性集合中的图像块区分为两类：事件块和瞬时块。
事件块专属于某个事件，在事件发生时选取，并会保留在显著性集合中。
瞬时块只与当前时刻相关，仅在当前时刻存在于显著性集合中。
仿真细节
ManiSkill3 配置为以 100 Hz 运行。仿真中的所有数据采集均使用基于特权状态信息的简单线性运动规划器完成。
我们以 20 Hz 运行策略并采集数据，在包含末端执行器位姿和夹爪状态的 7D 动作空间上采用 PD 控制。
DrawerRecall
在该任务中，机器人观察另一台机器人打开抽屉、拿起立方体、将其放入抽屉，然后关上抽屉。
整个过程经过设计，使主机器人在抽屉关闭后无法判断立方体位于哪个抽屉。随后，机器人的任务是打开正确的抽屉。
我们使用 272 条示范进行训练。
BalanceBar
该任务要求举起一根长横杆，使其保持水平——例如，使横杆绕中点的倾角为零。不过，这根横杆的质心（CoM）可能位于三个位置之一。
示范首先尝试从中点抓取，由此显露横杆的倾斜情况。随后，示范会从正确的质心位置举起横杆，从而实现平衡举升。
对于学习器而言，如果机器人第二次尝试时以平衡方式抓起横杆，即视为成功。
我们使用 272 条训练示范。
常见问题
工作空间模型评估哪些能力？ 它们评估部分可观测条件下的计数、空间回忆，以及基于过往经验的上下文内适应能力。
摊销 VLM 推理的目的是什么？ 它将缓慢且计算密集的 VLM 在环历史总结过程，转换为一个轻量级编码器，使其能够在部署期间高效查询。
什么是 DrawerRecall？ DrawerRecall 测试机器人能否利用历史信息，识别并打开另一台机器人放入立方体的抽屉。
工作空间模型有哪些局限？ 其完全自回归的 Transformer 编码器随序列长度呈二次扩展，在序列极长时可能变得难以应对。