4.4 什么能够推动通用策略改进？
在大规模评估这些方案后，我们验证了多任务 VLA 后训练中的关键设计决策，并研究了几种由评论器引导的策略提取替代技术。更多消融实验见附录 C，其中包括数据与计算规模扩展以及资源分配。
5 讨论
本研究的主要目标是增进对动力系统中在线自我改进机制与趋势的理解。我们认为，研究结果为未来工作提供了一个有前景的起点；后续研究可基于我们提出的简单且可扩展的强化学习方案，探讨在真实硬件上大规模开展多任务后训练的益处。
可复现性声明
我们在第 3.3 节末尾所列的 URL 发布了完整训练流程的代码，以确保研究可复现。所有数据均在线采集，复现结果无需离线数据集。我们还在附录 D 中报告了训练细节、超参数和任务划分。
D.4 评估协议
在 LIBERO 和 MolmoSpaces 上，我们都对每个策略进行分布内评估，并在未见任务上评估。对于 LIBERO，未见任务集包含 25 项任务。对于 MolmoSpaces，该集合包含来自 144 项任务划分的 8 个未见物体场景，以及 6 个未见物体（见附录 D.1）。全程使用的指标均为成功率。
训练期间，分布内成功率根据策略在每轮中针对每项任务收集的 20 个回合测量，因此无需额外进行中期评估。在最后一个训练阶段结束后，我们会另行开展评估，每项任务进行 32 个回合，涵盖分布内任务和未见任务。每项实验均使用三个随机种子重复，并报告种子间的平均成功率，以及使用 rliable 计算的 95% 分层自助法置信区间。
D.5 计算资源
我们的实验在每台配备四块 NVIDIA GH200 GPU 的节点上运行。单任务运行耗时约 2–5 小时（实际时间），具体取决于任务。最大规模的多任务划分运行耗时为 200 小时。
常见问题
如何衡量策略表现？ 指标为成功率，同时在分布内任务和未见任务上进行测量。
训练后进行了多少个评估回合？ 单独的评估阶段针对分布内任务和未见任务，每项任务均进行了 32 个回合。
使用了多少个随机种子？ 每项实验均使用三个随机种子重复，并报告平均成功率和 95% 分层自助法置信区间。
使用了哪些计算资源？ 实验在每台配备四块 NVIDIA GH200 GPU 的节点上运行。单任务运行耗时约 2–5 小时，最大规模的多任务运行耗时为 200 小时。