RPG在三个阶段中协调六个专门智能体：构建器、运行时智能体、特权智能体、视频分析器、实现器和合并器。它首先根据离线数据集构建仿真练习任务，通过练习这些任务改进共享的机器人执行系统，最终将改进后的系统部署到实体机器人上。该执行系统采用“智能体即策略”（Agent-as-Policy）的形式：多模态运行时智能体遵循系统提示词，从共享技能库中选择并组合可复用技能，以完成每项任务。这些技能提供可泛化的感知与机器人控制基本能力，并在重建和练习阶段中构建和完善。
Agent-as-Policy 设置与初始化
RPG在三个阶段中协调六个专门智能体：构建器、运行时智能体、特权智能体、视频分析器、实现器和合并器。它首先根据离线数据集构建仿真练习任务，通过练习这些任务改进共享的机器人执行系统，最终将改进后的系统部署到实体机器人上。
该执行系统采用“智能体即策略”（Agent-as-Policy）的形式：多模态运行时智能体遵循系统提示词，从共享技能库中选择并组合可复用技能，以完成每项任务。这些技能提供可泛化的感知与机器人控制基本能力，并在下文所述的重建和练习阶段中构建和完善。
重建：构建并冻结练习任务
构建器首先从离线数据集中选择源任务，以覆盖实用且多样的操作能力。对于每项选定的源任务，它会选择3–8条轨迹，并查看相应视频和文本描述。它会识别源任务所体现的操作能力，并提出一项用于练习这些能力的仿真任务。每项源任务的处理时限为7.5分钟。
练习：通过执行改进系统
非对称演员-评论家学习使用完整的仿真器状态来训练评论家，同时限制演员只能使用图像。RPG则在单独的执行过程中使用特权状态，以支持失败诊断。借助特权状态信息，特权智能体使用当前技能完成某些任务时，可能比运行时智能体更加可靠。它的成功执行可以为改进运行时智能体提供参考，而两个智能体共同出现的失败则可能暴露共享技能中的缺陷。
视频分析器会找出观察到的第一个失败，并提出具体的修改建议；它会结合画面帧或轨迹支持诊断，并说明修改预期产生的物理效果。它不会修改执行系统，而是将诊断和建议交给实现器进行修订。
走向真实环境：适配并冻结部署系统
在评估之前，最终的RPG系统和CaP-Agent0都会适配到实体YAM机器人上。两者使用相同的坐标校准和硬件适配，包括垫片偏移量和空夹爪开口度。不进行针对特定物体或任务的调优。
所有实体评估均采用较低的推理强度，以降低推理成本和延迟。除这些适配外，不会根据实体反馈修改行为代码。适配后的系统在评估期间保持不变。实体部署过程中不使用特权智能体和视频分析器。
评估
评估围绕四个问题展开：
- Q1：练习会如何改变任务成功率？RPG与现有智能体相比表现如何？
- Q2：诊断输入会如何影响改进效果？
- Q3：在周边运行时系统保持不变的情况下，修改技能库能否提高任务完成率？
- Q4：经过统一适配后，最终系统能否完成实体任务？
Q1：RPG能否通过练习不断改进？
评估预算
CaP-Agent0每个回合最多获得50次模型轮次。RATs最多获得50次模型轮次，且墙钟时间上限为1,200秒。RPG和ASPIRE最多获得30次模型轮次、12次基于模型的观测调用，且墙钟时间上限为1,200秒。
自我改进模型
RPG在自我改进期间使用Fable 5.1进行离线代码修订，包括分析执行视频以及在回合之间更新共享执行系统。在线执行期间，Gemini 3.8 Flash会生成任务级程序。
任务完成情况
RPG成功完成209/220次任务（95.0%），优于所有基线。在使用CaP-Agent0评估的四种模型中，GPT-6 Astra Pro表现最佳，成功完成132/220次任务（60.0%），仍低于RPG搭配Gemini 3.8 Flash的表现。Gemini CaP-Agent0成功完成107/220次（48.6%），ASPIRE成功完成166/220次（75.5%），RATs成功完成92/220次（41.8%）。
与Gemini CaP-Agent0相比，RPG在19项任务上有所提升，其余三项打平。提升覆盖两组任务：在CaP-X任务上，成功率从51.4%升至98.6%；在源自ABC或与之类似的任务上，成功率从47.3%升至93.3%。
在22项任务中，RPG有17项在全部十次试验中均成功。与ASPIRE相比，RPG最大的提升来自夹具插入和瓶子放置，这两项合计贡献了其多出的43次成功中的15次。ASPIRE在餐具摆放和标准方块分类任务上各比RPG多成功一次。RPG的11次失败中有7次发生在毛巾折叠任务中，因此可变形物体操作仍是本次评估中的主要失败模式。
各轮练习中的改进
RPG的成功次数从第1轮的63/220（28.6%）上升至第15轮的209/220（95.0%）。第4轮的表现超过了四种CaP-Agent0配置，第5轮达到78.2%，超过ASPIRE最终的75.5%。
系统提示词固定后，第4轮至第15轮的成功率又提高了21.4个百分点。在此期间，系统对现有技能进行了60次修改。在第9、11、14和15轮中，系统修改了现有技能，但没有添加新技能。因此，RPG既通过扩充技能库来改进，也通过修复共享技能实现来提升表现。
评估曲线并非严格单调上升：第6轮和第14轮的成功次数各减少一次。这些修订通过了五个种子上的开发检查，但在十个留出评估种子上并非每项结果都得到改善。
结论
RPG利用特权执行诊断失败，并通过跨任务验证修订方案，从而在不更新模型权重的情况下改进持久化的机器人执行系统。在22项任务的留出初始条件下，成功率从第一轮练习后的28.6%上升至15轮后的95.0%，优于ASPIRE（75.5%）和搭配GPT-6 Astra Pro的CaP-Agent0（60.0%）。
消融实验支持结合使用视频分析器和特权智能体；仅比较技能库则能单独衡量技能修订带来的收益，并凸显任务级验证的重要性。按照与基线相同的校准和硬件适配流程，冻结后的系统在三项实体任务的全部30次试验中均成功。这些结果表明，共享技能代码和系统提示词可以成为实现机器人持续改进的实用目标。
讨论与局限
两个瓶颈限制了自我改进。每一轮都会收集运行时智能体和特权智能体在全部22项任务上的轨迹，但API速率限制制约了并行运行的轨迹数量。随着任务集扩大，共享技能及其依赖项之间相互重叠的修订也会增加集成难度。未来工作可以通过考虑配额的轨迹调度和考虑依赖关系的提案集成来提高效率。
致谢
作者感谢Zi Wang和Bike Zhang提出的有益讨论与反馈。OpenAI ChatGPT和Anthropic Claude被用于协助语言编辑和稿件润色。所有技术内容、分析和结论均由作者完成并核实。
自我改进流程
每轮开始时，运行时智能体会在五个固定的开发初始条件下尝试每项练习任务。它仅使用部署时可获得的观测信息及自身的执行历史，选择并组合可复用技能。
与此同时，特权智能体会从匹配的初始状态开始单独运行回合，使用相同的运行时模型和共享技能库。特权智能体唯一的不同之处在于它能够访问仿真器状态，包括物体身份、姿态、尺寸、速度和布料角点位置。两个智能体调用的都是相同的、与部署兼容的技能。技能本身不会接收特权状态。
技能获取与改进的定性示例
作者展示了若干代表性示例，说明自我改进如何改变机器人的可复用操作行为。在自我改进期间，每项任务的开发成功率以五个固定的开发初始条件为基准测量，因此环内成功率以20个百分点为增量变化。随后会按照附录A所述，在完整的跨任务验证套件上评估候选修订方案。这些环内开发测量与主要实验中报告的独立10种子留出评估有所区别。
将瓶子放入收纳箱任务展示了如何获得一种此前不可靠的操作能力。在第12轮中，该任务的环内成功率从1/5（20%）提高到5/5（100%）。
改进之前，智能体常常把将夹爪移到容器附近视为放置成功。它可能在未检查从抓取到放置的完整轨迹时就执行放置；遇到无法到达的路径点后仍继续操作；或者把瓶子放在收纳箱附近就松开夹爪，却没有确认瓶身是否越过箱沿并进入开口。
改进后的行为会先定位容器开口，检查完整的操作路径，推理瓶身的几何形状而不只关注指尖姿态，在下放前越过箱沿，并在释放后确认瓶子已被容纳。简言之，行为从：
抓取 → 移至容器附近 → 松开
转变为以物体为中心而非以末端执行器为中心的操作：到达指令指定的夹爪姿态，不再被视为等同于实现预期的物理状态。
仿真任务套件
RPG在YAM工作站上的22项双臂操作任务组成的套件中接受评估。每项任务规范都会固定仿真场景、语言指令、执行预算，以及一个根据仿真器状态评估最终结果的二元评估器。策略自身对成功与否的判断会被记录用于诊断，但绝不会影响成功标签。
该套件包含17项开发任务、1项验证任务和4项反馈留出任务。开发任务会提供针对特定任务的失败反馈，并可用于生成候选修订方案。验证任务“重新堆叠方块”不会生成候选修订方案，而是用于跨任务回归检查。它与反馈留出任务分开报告，因为附录D的迁移分析仅使用后者。
四项反馈留出任务分别为：将物品摆放到盘子上、双臂递交、转移物体和合上太阳镜盒。视频分析器不会分析这些任务，也不会使用它们生成针对特定任务的候选修订方案。它们仅作为回归检查保留在跨任务验证中。
所有任务使用相同的观测接口：来自顶部和两侧腕部摄像头的RGB图像、顶部摄像头的深度信息，以及机器人本体感知数据。初始条件会随机化物体姿态和选定的物理参数，包括摩擦力、质量、桌面高度、相机姿态和深度噪声，并在执行前经过固定的稳定等待时间。每次试验包含一个回合。对技能调用次数和机器人执行时间的任务特定限制，均属于任务定义的一部分。
除非另有说明，任务成功与否根据最终仿真器状态评分。RATs遵循其原生的任意时刻成功判定标准。
基准测试使用九种评估器类型，涵盖不同的操作目标。大多数放置任务使用all_in_targets评估器，检查每个指定物体是否都位于目标周围、符合任务特定水平和垂直容差的范围内。其他评估器则检查举升、关节结构闭合、提取、堆叠、重新堆叠、双臂水平举升、碎屑清除和布料折叠。
若干评估器还包含额外的约束条件，以排除退化解。例如，移动整个夹具并不算完成提取；如果底座本身没有移动，场景中原本已经堆叠好的方块也不算完成重新堆叠。
常见问题
RPG如何提升机器人任务表现？ 它会诊断执行失败并修订共享的可复用技能库，在不更新模型权重的情况下，通过跨任务验证来检验改动。
运行时智能体和特权智能体分别承担什么角色？ 运行时智能体根据部署时的观测信息执行任务；特权智能体则在单独的执行过程中使用仿真器状态来支持失败诊断。
RPG在仿真中的表现如何？ 经过15轮练习后，它在22项任务中成功完成209/220次（95.0%）。
适配后的系统能在实体机器人上工作吗？ 经过统一校准和硬件适配后，冻结系统在三项实体任务的全部30次试验中均成功。