双重潜在记忆赋予机械臂更精湛的长时技能 (2026)

近期的视觉-语言-动作（VLA）模型在执行长操作序列时难以保持上下文。研究人员构建了一个双重记忆系统——短期缓冲区和长期存储区——使机械臂能够记住之前的操作以及下一步需要做什么，从而将复杂多步任务的成功率提升至新高度。

研究人员构建了什么

目前大多数VLA模型将观测历史压缩成一个固定大小的嵌入向量。这在抓取放置任务中表现良好，但在组装玩具车等需要回忆先前步骤的长时任务中则难以胜任。该团队提出了一种双重潜在记忆架构，将记忆分为两个部分：短期潜在记忆用于跟踪细粒度的近期动作，长期潜在记忆用于存储高水平的任务进度。

该模型将每个视频帧和语言指令编码到这两个记忆库中。短期记忆每步更新一次，而长期记忆则在各回合间压缩信息。在动作生成过程中，策略网络关注这两个记忆，从而根据任务进度调整行为。最终得到的VLA模型能够处理多达10步的任务而性能不下降。

研究人员在模拟桌面环境中用单臂任务进行了测试：堆叠积木、打开抽屉和组装玩具车。他们将结果与没有显式记忆的基线VLA模型以及堆叠LSTM方法进行了比较。

双重记忆模型在长时任务上优于所有基线。在10步的玩具车组装任务中，基线VLA的成功率仅为12%，而双重记忆模型达到了82%——提升了近7倍。

在中等长度任务（5步）中，双重记忆模型成功率为94%，基线为63%。即使在3步的短任务中，改进也显而易见：98%对90%。

下表展示了不同任务长度下的成功率：

任务长度	基线VLA	双重潜在记忆	提升幅度
3步	90%	98%	+8%
5步	63%	94%	+31%
10步	12%	82%	+70%

该模型还能泛化到未见过的任务变体，例如不同物体颜色或稍有不同的抽屉高度，无需重新训练，在分布外的5步任务中保持了78%的成功率。

在每个时间步，机器人接收RGB图像和自然语言指令（例如“拿起红色方块放在绿色盘子上”）。视觉编码器（预训练ViT）提取图像特征，语言编码器（CLIP）提取文本特征。

短期记忆是一个循环状态——一个GRU，每次动作后更新。它存储最近的（通常4-8个）观测和动作，为策略提供细粒度的时间上下文。

长期记忆是一个固定大小的潜在向量，在每个子任务结束时压缩存储。模型通过学习动作历史上的注意力掩码来将任务分割为子任务。仅当子任务完成时（例如夹爪释放方块），长期记忆才更新。这防止了高水平进度的不必要遗忘。

在动作预测时，策略（一个小型Transformer）接收当前观测、短期记忆状态和长期记忆状态，输出7自由度的动作（3D平移、3D旋转、1D夹爪）。记忆更新通过演示数据的行为克隆进行端到端训练。

与基线VLA相比，双重记忆仅增加了约230万个参数，使其可在单个GPU上实时部署。

长时操作是阻碍许多机械臂进入复杂真实环境的瓶颈。一个能够记住已完成任务而无需昂贵的外部状态跟踪或重复指令的系统，是迈向实用家庭和仓库助手的重要一步。

对于评估二手工业机器人的运营经理来说，这项研究表明，只要控制软件拥有更好的记忆，现有机器人硬件也能处理更复杂的任务。类似地，人形机器人在双手灵巧操作时也能从这种方法中受益。

双重记忆方法无需更改机器人的物理设置——纯算法升级。这意味着集成商可以为现有的仓库机器人和抓取放置臂改造更好的长时能力。

实验在模拟环境中进行；真实部署时会面临视觉噪声、光照变化和传感器漂移，可能影响记忆保真度。模型还假设子任务边界能从演示中学习——任务分割模糊的情况（如倒液体）可能使长期记忆更新混乱。

更长任务（20步以上）的扩展性尚未测试，记忆向量可能饱和。作者指出，当语言指令在任务中途改变时模型表现不佳——它无法灵活更新长期计划。最后，仅评估了开环执行；闭环重规划与记忆结合可能表现不同。

双重潜在记忆解决了什么问题？ 它防止VLA模型在长操作序列中遗忘先前步骤，显著提升了五步及以上任务的成功率。

是否需要特殊硬件？ 不需要。双重记忆模块是软件附加——适用于任何配有摄像头和夹爪的标准机械臂。

记忆模块增加了多少计算量？ 大约230万个额外参数，推理延迟极小。该模型在单个GPU上以20Hz运行。

能否用于训练集之外的任务？ 模型在新物体颜色和略不同的物体姿态上表现出强泛化能力，但尚未在完全新颖的任务结构上进行测试。

双重潜在记忆为当前VLA模型的一个关键弱点——长时任务中的短期失忆——提供了一个简单而有效的修复方案。通过分离即时和长期上下文，该系统在模拟多步操作任务上取得了最先进的结果。下一步是在真实工厂和家庭厨房中验证其效果。

模块化记忆设计能否完全取代长时机器人任务中的重规划需求？