VaM（Value as Memory，价值即记忆）通过将近期任务进度估计作为紧凑记忆反馈给策略，提升通用机器人策略的能力，帮助机器人在当前视野含糊不清时选择动作。研究人员在三项真实世界操作任务中报告了更强的后训练表现和更高的样本效率；训练过程结合了演示、机器人过往经验和新的部署交互数据。
目录
研究人员构建了什么？
VaM 是一种用于通用机器人策略的在线后训练系统。后训练是指策略先通过演示学习后，再继续提升其能力。该系统在动作专家之外加入了价值专家：动作专家决定机器人应执行什么操作，价值专家则估计机器人在完成任务方面取得了多少进展。
核心思路是缓存近期的价值预测，并将其反馈给动作专家。该缓存充当任务进度的简短摘要，而不是记录机器人经历过的每一张图像和每一个动作。当机器人最新的相机画面无法清晰呈现此前发生的情况时，这种方式可能有所帮助，例如在多步骤操作任务中，较早执行的动作改变了物体状态。
VaM 在三项真实世界任务中进行了测试：箱体组装、衣物折叠和磁性巴士组装。这些任务包含一连串较长的动作，既涉及大量接触的组装操作，也涉及可变形物体。以箱体任务为例，机器人需要撑起纸箱、折叠并夹紧侧翼，然后将纸箱放平。成功标准还要求在 120 秒内完成，纸箱保持水平且两侧翼均锁定到位。
VaM取得了哪些成果？
研究人员报告称，价值缓存提升了策略在强化学习后训练期间的表现。真实世界消融实验也支持这样一种观点：近期价值预测有助于在机器人只能部分观察任务进展时，缓解动作选择的模糊性。落实到实践中，策略可以利用一个简洁信号了解任务进展，而不必只依赖眼前可见的信息。
研究还报告称，VaM 的离线到在线训练系统提高了样本效率。样本效率很重要，因为每次实体机器人试验都需要时间：更充分地利用演示和过往经验，可以减少提升策略所需的新交互量。该系统还旨在通过利用多种经验来源进行训练，提高策略迭代频率。
评估涵盖了三项操作需求各不相同的任务。在箱体组装评估中，机器人面对四种纹理和外观不同的桌布，用以测试任务在不止一种视觉和表面条件下的表现。不过，论文所提供的文本未包含成功率百分比、相较对比方法的数值提升，也没有详细的基准测试表格。因此，现有内容支持对所报告改进的定性描述，但无法精确估算改进幅度。
基于价值缓存的后训练如何运作？
VaM 使用两个协同工作的模型。动作专家生成机器人的动作。价值专家估计未来任务回报，即某个状态预期能带来多少奖励或进展。价值专家不会仅用一个数字表示这项估计，而是采用分布式建模：学习可能回报的分布。近期价值预测会存入缓存，作为上下文提供给动作专家。
这种上下文旨在帮助解决部分可观测问题。机器人当前的相机图像可能无法清楚表明此前的抓取是否成功，或多步骤操作是否即将完成。近期价值估计为策略提供了另一条线索，帮助判断任务进展方向。但这并不意味着估计一定正确：只有当价值专家能够准确跟踪实际进展时，缓存才有用。
训练分为四个阶段：
- 离线演示初始化：策略从演示数据开始训练，在在线强化学习之前获得一个起点。
- 离线强化学习预热：系统收集离线数据并据此训练，先调整价值专家，再调整动作专家。这一步有助于在在线学习中使用进度信号之前，先建立一个有用的信号。
- 在线 DAgger：训练循环纳入在线交互期间收集的经验。
- 从经验中学习（LfE）：系统在调整策略的同时，继续利用已收集的经验进行学习。
在线强化学习期间，价值专家和动作专家会并行更新。VaM 会重复利用离线演示、离策略轨迹（来自先前交互的数据），以及当前的在策略采样轨迹（来自当前正在运行的策略的数据）。优势标签也会指导策略后训练：它们提供学习信号，指出动作表现是否优于或差于价值估计的预测。缓存与训练循环相结合，将任务进度估计与策略更新联系起来，同时利用较早收集的数据和新数据。
这对真实世界机器人技术有何意义？
通用机器人策略需要处理的不只是选择一个看似合理的下一步动作。它还必须追踪自己在任务中的进度，尤其是在相机视野不完整或任务包含多个步骤时。VaM 通过学习得到的进度信号应对这一问题，并将信号融入策略近期上下文。这是一种实用的替代方案，避免只依靠最新观测来推断此前发生了什么。
这一训练设置也反映了部署中的一项核心挑战：真实世界交互成本高昂，但机器人可以随着时间积累有用经验。将演示和过往轨迹与新的采样轨迹结合使用，为学习系统提供了更多利用已收集数据的途径。对于开发重复性操作流程机器人的团队而言，这一点可能尤为重要，因为每次部署都会产生新的成功与失败案例。
VaM 是一种学习方法，而非特定的机器人平台。正在比较具备操作能力的硬件的买家，可以在 Robot Overflow 浏览待售二手机器人，并考虑平台是否能够收集在线学习系统所需的观测和交互数据。不过，实验只在单台机器人上展示了进展，因此这些结果尚未证明如何在整个机器人机群中实现共享学习。
VaM有哪些局限和待解问题？
VaM 依赖能够准确跟踪任务进度的价值函数。如果其预测不准确，缓存信号就可能误导动作专家，而非提供帮助。研究人员指出，离线强化学习预热对于稳定的在线训练是必要的，这意味着该系统依赖一个有用的前期学习阶段，而不能一开始就立即实现有效的在线适应。
报告中的实验使用了单台机器人。实验并未展示 VaM 在多台机器人共同贡献经验时能否扩展、如何整合不同机器人的数据，或该方法能否在不同硬件上保持可靠。机群学习被视为一个有前景的方向，而非已验证的能力。
现有论文文本也省略了数值成功率和详细对比，因此难以判断所报告提升的幅度，或了解提升程度如何因任务而异。进一步评估需要展示定量改进，并说明在真实部署中缓存的价值预测有多大比例会出错。
买家和工程师常问哪些问题？
VaM 会取代演示吗？ 不会。VaM 从离线演示开始，之后继续利用离线和在线经验学习。
价值缓存记住了什么？ 它存储价值专家对任务进度的近期预测，而不是完整记录图像和动作。
测试了哪些任务？ 评估涵盖了真实机器人上的箱体组装、衣物折叠和磁性巴士组装。
论文报告了确切的成功率提升吗？ 所提供的文本报告了定性改进，但未提供数值成功率或效应大小。
实践中应关注什么？
VaM 为通用机器人策略提供了一个关于近期任务进度的紧凑型学习信号，并用它来指导在线后训练。该方法将这份记忆融入更广泛的学习流程，重复利用演示、先前轨迹和新的机器人经验；不过，其效果取决于预测是否可靠，而且目前仅在单台机器人上进行了测试。
未来的机器人策略在部署期间应记住哪些任务进度信号？