HORIZON项目的研究人员开发了一种课程学习方法，使四足机器人能够适应日益恶劣的物理条件，而不会导致训练崩溃。通过将物理多样性组织成可学习的前沿，并利用回滚机制避免不可恢复的故障，HORIZON产生了远超标称操作范围的运动策略。
目录
研究人员构建了什么
HORIZON是一个在线强化学习训练框架，能够随时间扩展机器人可处理的物理领域。核心问题在于，在策略强化学习生成自己的训练数据——如果让机器人进入远超出当前技能水平的条件，它会立即失败，无法产生有用的学习信号。HORIZON通过将物理变化视为一个结构化空间，并带有可恢复性前沿来解决此问题。它从标称条件开始，系统地沿负载、地形摩擦、执行器扭矩限制和外部干扰等轴向更难的范围内探测，并在滚动变得不可恢复时要么提交新的前沿，要么回滚。课程使用一个检查点管理器，搜索紧凑的物理域集合，这些域在联合训练时能产生强大的组合分布外鲁棒性。结果是，策略能够处理跨越七个同时域轴的极端变化——远超任何单范围或静态域随机化方法。
关键成果
HORIZON证明，物理域扩展仅在前沿保持可恢复时才成功。在回滚消融测试中，完整的HORIZON课程显著优于没有回滚的版本以及从开始就暴露策略于最困难范围的“直接宽域随机化”基线。紧凑的核域组成——仅四个耦合的物理轴（动作权限、负载偏移、外部恢复和不对称负载）——在组合分布外性能上优于完整的七域课程，同时使用较少的训练计算。多专家蒸馏，即为每个轴训练单独策略并离线组合，无法匹配紧凑核的联合在策略交互。成本归一化比较显示，四域核心在训练资源和最终分布外鲁棒性之间提供了最佳权衡，而全域训练在那些本身已经很强或干扰恢复传递的轴上浪费了阶段。
工作原理
HORIZON将每个物理域轴（例如，质量、摩擦、电机扭矩、初始姿态）视为一个连续范围，可以在训练期间扩展。算法维护一组活动范围，并定期尝试扩展每个范围。对于每个前沿探测，它使用当前策略收集一批滚动。如果策略仍能在固定步数内从失败中恢复，则提交新范围。如果崩溃率超过阈值，则探测回滚到先前安全范围，并通过缩小增量进行细化。
关键见解在于，可恢复性依赖于策略且因轴而异。某些轴（如地形摩擦）快速扩展，而其他轴（如不对称负载）如果过快扩展会导致即时平衡失败。HORIZON管理器跟踪每个轴的恢复率并调整前沿步长。紧凑核搜索随后识别哪些物理扰动组合提供最丰富的恢复学习信号，而不冗余或干扰。该核通过评估成对的可恢复性耦合并剪枝那些共享少量传递或容易饱和的轴来找到。
训练管线使用基于PPO的在策略强化学习算法，带有共享网络，课程管理器异步运行，在每个提交的前沿处检查点最佳策略。回滚机制确保策略永远不会在数据质量差的区域花费时间，从而保持样本效率高。
为何对机器人学重要
对于任何必须在现实世界中运行的机器人——尤其是面临不可预测负载、地形和干扰的人形机器人或仓库机器人——在训练期间系统性地扩展物理包络的能力至关重要。当前实践要么使用静态域随机化（可能浪费），要么使用人工设计的课程（劳动密集）。HORIZON通过让机器人自己告知下一步可学习什么来自动化这一过程。紧凑核发现还表明，操作员可以为少数具有挑战性的物理变化训练单一策略，并获得比穷举覆盖更好的泛化。这减少了训练时间和验证所需的物理机器人小时数。回滚机制提供了安全保证：最坏情况是机器人保持当前技能水平，而不是灾难性退化。
局限性与开放问题
该方法仅在仿真中测试了四足运动；尚未报告真实世界验证。可恢复性阈值和前沿步长是需要根据机器人平台调整的超参数。紧凑核搜索在训练所有成对组合后离线执行，当物理轴数量增加时可能变得昂贵（尽管论文显示它可扩展到七个）。该方法假设密集奖励反馈（运动失败易于检测）；将其扩展到稀疏奖励任务（如操作）将需要额外的启发式方法来检测不可恢复状态。最后，一个开放问题是，相同的课程原则是否适用于具有高保真执行器模型的硬件校准仿真器。
常见问题解答
HORIZON与域随机化有何不同？ 域随机化从固定的宽分布中采样所有物理参数；HORIZON根据当前策略能否在新条件下生存来逐步扩展分布。
该方法是否适用于任何强化学习算法？ 作者使用PPO，但课程管理器对底层强化学习算法不可知，只要滚动可以评估可恢复性。
紧凑核需要多少训练回合？ 四域核达到了与完整七域课程相同的分布外鲁棒性，同时需要的总训练周期大约只有一半。
如果部署后机器人的硬件发生变化怎么办？ 需要重新运行课程，但回滚机制确保策略始终可以恢复到先前安全的前沿。
结论
HORIZON引入了一种原则性的方法，通过保持每一步训练的可恢复性，在在线机器人学习中扩展物理域的多样性。紧凑核结果表明，更多的多样性并不总是更好——精心策划的物理挑战集可以在更少的计算下产生更强的泛化。这项工作指向一个未来，机器人可以自动确定它们准备好应对哪些新条件。
在仿真中控制物理域扩展的课程能否直接转移到真实机器人而无需微调？