MemoryVLA++在标准视觉-语言-动作（VLA）模型基础上，增加了专用记忆库和能够想象未来视觉状态的世界模型，使机器人能够处理需要时间推理、记忆回溯和预测规划的任务。通过将过去观察与想象的未来场景相结合，该模型在仿真和真实机器人的长时域及依赖记忆的操作任务中，显著提升了成功率。
目录
研究人员构建了什么
研究团队开发了MemoryVLA++，这是一种视觉-语言-动作模型，增加了先前VLA方法缺失的两个关键组件：时间记忆模块和想象模块（世界模型）。记忆模块存储过去观察的压缩潜在表示，覆盖可变长度的时间范围（从16步到256步），使模型能够推理任务中较早发生的事件。想象模块——一个基于扩散的世界模型，单独训练——根据当前观察和动作计划生成预测的未来视觉特征，让机器人能在执行前“想象”结果。
该模型输出连续7自由度动作（末端执行器平移、旋转和夹爪状态），支持单臂和双臂操作。它在三个不同的机器人平台上进行了测试：Franka Panda、WidowX和定制双臂系统。在5个仿真基准（Libero、SimplerEnv、Mikasa-Robo、Calvin、Libero-Plus）和17个真实世界任务中，MemoryVLA++始终优于强大的CogACT基线，尤其是在长时域和依赖记忆的任务上，如顺序按钮按压或传送带打包。
关键结果
评估涵盖了近200个任务，并进行了大量变化。在Libero基准（130个任务）上，MemoryVLA++在所有五个套件（空间、物体、目标、Long-10和Long-90）中都比CogACT取得了更高的成功率，其中在长时域的Long-90套件上提升最大。在SimplerEnv上，基于BridgeData-v2训练并零样本测试，该模型在通用操作成功率上明显优于先前方法。
在Mikasa-Robo（5个依赖记忆的任务）上，MemoryVLA++掌握了需要回忆过去物体状态的任务，而标准VLA模型通常在第二步或第三步失败。在Calvin基准（长时域语言条件链任务）中，该模型平均完成超过4/5的连续指令，比之前的最佳结果高出10个百分点以上。在Libero-Plus（鲁棒性和泛化性，包含7种分布外变化）上，即使在零样本设置下，模型也表现出强大的鲁棒性，并通过监督微调进一步改进。
来自17个真实世界任务的结果——包括“猜猜在哪里”（依赖记忆）和“传送带扫描-拾取”（依赖想象）——表明MemoryVLA++能够处理新奇的物体排列、可变的传送带速度和中断的序列。例如，在“装袋与拉链”任务中，双臂机器人将手伸入袋子，装入五个物体，并拉上拉链，在连续10次试验中取得了高部分分成功率。
工作原理
MemoryVLA++采用模块化架构，基于预训练的VLA骨干。关键创新在于增加了一个时间感知动作专家，处理三种信息流：1）当前视觉观察（图像令牌），2）一系列过去潜在记忆，3）想象的未来视觉特征。
记忆模块： 训练期间，模型通过编码器将每个观察-动作对压缩为紧凑的潜在令牌。这些令牌存储在环形缓冲区中。推理时，检索最后_N_个记忆令牌，并通过交叉注意力与当前观察令牌融合，生成上下文感知特征。
世界模型： 一个独立的扩散模型被训练（仿真40k步，真实数据20k步），根据当前观察和动作计划生成未来视觉特征令牌。在长时域任务中，机器人反复想象接下来几步，并将想象的特征与真实观察结合以选择动作。
时间-动作融合： 来自记忆和想象的认知感知特征随后通过感知注意力层，注入当前帧的精细视觉细节，然后经过前馈网络。最终的降噪表示由MLP投影，输出7自由度连续动作（平移、旋转、夹爪）。训练使用预测与目标动作序列之间的均方误差损失。
模型支持可变的记忆长度——通用任务16步，长时域时间任务256步——并能在单个GPU上以5–10Hz运行，使其适用于实时机器人控制。
为何这对机器人学重要
为VLA模型增加显式记忆和想象，解决了在需要超越反应式抓取和放置的真实世界任务中部署机器人的关键瓶颈。需要记住已扫描物品的仓库机器人，或需要遵循顺序步骤且无需每次重置的厨房机器人，是该方法的理想候选。
例如，负责将混合物品分类到传送带的仓库机器人可以利用想象模块预见碰撞并提前规划抓取。同样，执行多步装配的人形机器人将从之前动作的记忆中受益。MemoryVLA++还展示了协作双臂任务的潜力——这一能力在商业VLA系统中仍然罕见。
模块化设计意味着现有VLA模型（如CogACT或Octo）可以加装时间模块，而无需完全重新训练，降低了机器人集成商的采用门槛。随着世界模型的改进，机器人将能越来越多地在动态、部分可观测的环境中运行，而不是固定的脚本化单元。
局限性与开放问题
尽管MemoryVLA++取得了强劲结果，但仍存在若干局限性。世界模型在收集的演示数据上离线训练，可能无法泛化到真正新颖的动力学特性——例如，具有未知质量或摩擦的物体。记忆缓冲区存储潜在令牌，虽然压缩了信息，但可能丢失精细任务所需的细节（例如，将销钉插入紧密孔中）。计算成本随记忆长度线性增长，使得在嵌入式硬件上实时运行具有挑战性。最后，想象模块与动作策略并非联合训练；将它们端到端集成可能带来进一步提升。
常见问题解答
什么是VLA模型？ 视觉-语言-动作模型以相机图像和自然语言指令为输入，直接输出机器人电机命令，无需显式的运动规划或感知管道。
记忆模块与简单使用帧历史有何不同？ MemoryVLA++存储压缩的潜在表示而非原始像素，这减少了计算量，并允许模型保留更长的序列（最多256步）而不会内存溢出。
MemoryVLA++可以用于任何机器人吗？ 可以，输出动作空间（7自由度连续）在大多数关节机器人臂中常见。该模型已在Franka、WidowX和双臂系统上验证，并且可以通过一致的动作定义适配到其他平台。
运行MemoryVLA++实时需要什么硬件？ 作者报告在单个Nvidia RTX 4090 GPU上实现了实时推理（5–10Hz）。在较弱的硬件上，可能需要减少记忆长度或世界模型分辨率。
结论
MemoryVLA++通过记忆库和世界模型，为基于VLA的机器人提供了一种实用的时间感知方法。在仿真和真实世界的近200个任务中测试，它始终优于基线模型，尤其是在长时域和依赖记忆的挑战上。对于希望超越反应式抓取和放置的机器人团队，该方法提供了清晰的升级路径。
世界模型能否在长时域任务中取代真实世界记忆，还是两者永远是必要的？