更广泛地说,我们的结果表明,阻碍仿真发展的并非仿真这一理念,而是不够逼真的仿真;如今,编码智能体能够构建逼真的仿真环境,让能力强得多的前沿模型以现实世界不允许的方式学习。
方法
本节介绍问题设置,以及基于 GDP 的仿真筛选方法。还将说明用于创建仿真的多智能体策略,以及如何为每种仿真构建难度可控的任务。

扩展任务规模
据我们所知,目前尚无关于优质任务的公认定义。因此,我们提出六项标准,用于判断一项任务是否适合评估和训练机器人策略:
- 意义。 任务应是现实且有意义的工作,并以自然的方式描述,就像向一个人说明任务那样,而不是罗列验证条件清单。
- 场景。 场景、物体及其布置应适合具体任务。例如,要完成弧线射门,场景中需要有防守人墙;运球任务则需要锥桶。
- 验证器正确性。 验证器应具有确定性,并依据仿真的物理状态计算,而不依赖 VLM 评判。它既不能出现假阳性,例如在“把球放进杯子”的任务中,将倒扣在球上的杯子判定为成功;也不能出现假阴性,例如任务并未要求球停在杯子正中心,却将此设为成功条件。
- 可解性。 与仿真本身一样,辅助演示应表明,任务要求的每种交互在物理上都可实现,而无需提供端到端解决方案。
- 奖励质量。 奖励应提供连续的部分得分,以体现有意义的进展,并对所有有效解给出满分,不论采用何种策略。例如,清理任务会为每件放回正确位置的物品计分。
- 难度覆盖。 任务如果全都太简单或太难,就难以为评估或改进模型提供有效信号。因此,我们分别使用较弱和较强的模型 Claude Haiku 5.5 与 Claude Opus 5.5 衡量每项任务的难度,并为两者设定不同的目标成功率范围。这样便能形成一条难度梯级,为较弱和较强的模型都提供有用信息。

使用前沿模型在仿真中学习
逼真的仿真为学习物理技能开辟了新途径:在仿真中练习,无需承担真实机器人的成本和风险。以往研究主要利用仿真通过强化学习训练小型策略,通常每项任务需要数百万次试验。前沿模型能够采用不同的学习方式,因为它们可以在单个上下文中推理任务、编写代码并根据反馈改进。因此,我们研究前沿模型如何在仿真中学习,以及如何将所学传递给控制真实机器人的模型和策略。
由于仿真可以即时重置,前沿模型能够反复尝试同一任务,并在单个上下文中从自身失败中改进,无需更新权重。每次尝试后,仿真都会重置到相同的初始状态;智能体则在同一对话和工作区中继续运行,并保留先前尝试中的观察、代码和笔记。我们进行了三次尝试,每次持续三小时。为衡量真值状态的价值,我们比较了访问受限的智能体与具有特权访问权限的智能体;后者在每次尝试期间还可以读取模拟器状态。
结论
更广泛地说,我们的结果表明,阻碍仿真发展的并非仿真这一理念,而是不够逼真的仿真;如今,编码智能体能够构建逼真的仿真环境,让能力强得多的前沿模型以现实世界不允许的方式学习。我们希望 Gym-Anything for Robotics、RoboWorld 及所发布的代码能为未来的逼真机器人学习研究奠定基础,包括能力更强的具身智能体、利用特权状态学习的新方法,以及对物理工作的更广泛覆盖。
常见问题
什么标准定义了有用的任务? 任务必须满足六项标准:意义、场景、验证器正确性、可解性、奖励质量和难度覆盖。
如何衡量任务难度? 作者使用 Claude Haiku 5.5 和 Claude Opus 5.5 评估每项任务,并为两种模型设定不同的目标成功率范围。
前沿模型如何在仿真中练习? 它们从相同的初始状态反复尝试,并在同一对话和工作区中保留先前尝试的观察、代码和笔记。
练习尝试有几次,每次持续多久? 研究进行了三次尝试,每次持续三小时。
