我们提出了循环生成重放（ReGen），这是第一个利用世界动作模型（WAMs）的生成能力作为原生重放机制的持续学习框架。通过合成基于先前任务指令、当前视觉观测以及自身生成观测的伪演示，ReGen 无需存储先前任务的演示数据即可减轻灾难性遗忘。在仿真和真实世界操作实验中都证明了其对持续机器人学习的效果。最后，我们的分析确定生成观测中的长程退化是主要瓶颈，为WAM和生成重放的未来进展指明了重要方向。
方法
我们首先介绍持续学习问题的形式化，然后提出我们提出的WAM持续适应框架——循环生成重放（ReGen）。
问题形式化
持续学习设置涉及在多个任务上顺序训练机器人策略。在每个阶段，智能体观察一个新任务，并必须学会执行该任务，同时保留先前任务的知识，而无需存储其原始演示数据。
循环生成重放（ReGen）
ReGen通过让当前策略利用WAM的生成能力为先前任务生成伪轨迹来运作。该策略基于先前任务指令、当前视觉观测以及自身生成的未来观测来创建合成演示，作为重放数据。这种方法消除了存储任何先前任务演示的需要，同时使策略能够在学习新任务期间练习之前学到的行为。
实验结果
我们在仿真和真实世界环境中进行实验，以评估ReGen生成的伪轨迹的有效性。我们进一步进行表征分析，以刻画生成轨迹的质量，并评估它们与完美演示的偏差。
仿真基准
实验在LIBERO基准套件上进行，该套件提供了各种复杂度不同的操作任务。在每个持续学习阶段之后，我们评估策略截至该点观察到的所有任务。对于每个任务，我们运行若干次随机初始状态的试验，并报告平均成功率。根据这些每任务成功率，我们计算三个持续学习指标：前向迁移（FWT）、负向反向迁移（NBT）和曲线下面积（AUC）。
真实世界机器人评估
我们在三个顺序引入的真实世界操作任务上进行评估，每个任务进行若干次试验，对象位置和初始夹爪配置随机。滚动使用部分评分标准进行评分：接触目标物体得分，达到目标额外得分。
ReGen分析
我们进一步分析ReGen如何在持续学习过程中保持策略的内部表示和行为，并研究伪轨迹生成中的两个关键设计选择。
表示保持
对学习到的特征空间的分析表明，与标准顺序微调相比，ReGen对先前任务保持了更一致的内部表示。生成的伪轨迹有助于锚定策略对早期技能的理解，同时容纳新任务知识。
伪轨迹生成中的设计选择
我们研究了两个关键的设计选择：重放生成的频率和用于条件设置的观测范围。结果表明，更频繁的重放周期提高了保留效果，但增加了计算开销；而更长的观测范围在退化发生前提高了生成质量。
ReGen的局限性与未来方向
尽管ReGen在无需先前任务数据的情况下显著减轻了灾难性遗忘，但与特权经验重放基线相比仍存在性能差距。我们确定当前WAM的生成保真度有限是主要瓶颈。
长程退化
我们的分析确定生成观测中的长程退化是主要瓶颈。随着生成轨迹中连续时间步的增加，合成观测的视觉质量和任务相关内容变差，限制了重放对更长任务的效果。
未来方向
这一发现为WAM和生成重放的未来进展指明了重要方向。改进生成模型架构以保持更长范围内的保真度，或采用自适应重放策略将生成集中在关键时间步上，可能进一步缩小与基于oracle的重放方法的差距。
结论
我们提出了循环生成重放（ReGen），这是第一个利用世界动作模型的生成能力作为原生重放机制的持续学习框架。通过合成基于先前任务指令、当前视觉观测以及自身生成观测的伪演示，ReGen无需存储先前任务的演示数据即可减轻灾难性遗忘。在仿真和真实世界操作实验中都证明了其对持续机器人学习的效果。
常见问题
ReGen在机器人学习中解决了什么问题？ ReGen解决了持续机器人学习中的灾难性遗忘问题，即策略在多个任务上顺序训练后，在早期任务上性能下降。
ReGen如何在没有先前任务数据的情况下生成伪轨迹？ 它使用基于任务指令、当前观测以及自身生成的未来观测进行条件设置的世界动作模型来合成先前任务的重放数据。
论文中确定的主要局限性是什么？ 生成观测中的长程退化是主要瓶颈，即随着轨迹长度增加，视觉质量和任务相关性下降。
ReGen在真实世界环境中是如何评估的？ 该框架在三个顺序的真实世界操作任务上进行测试，对象位置随机，使用部分评分标准评估成功。