一个开放权重、拥有 270 亿个参数的推理模型在仿真中学会了机器人技能,随后在一台从未用于训练的真实双臂机器人上完成了 30 次试验中的 18 次。该方法将逆运动学和运动控制置于语言模型之外,让同一套基于位姿的动作接口能够从仿真的单臂和双臂平台迁移到真实硬件,无需在真实机器人上微调。
目录
研究人员构建了什么?
研究团队通过仿真中的强化学习,训练推理模型使用机器人。系统并非让模型直接控制电机,而是让它为机器人的末端执行器选择一个目标位姿——末端执行器是机械臂末端的部件,例如夹爪。另一个独立的机器人控制器会将该目标转换为抵达目标所需的关节运动。
这种分离方式为不同机器建立了共用的动作接口。研究人员使用单臂 Franka 机器人和双臂 ARX 机器人的仿真任务进行训练,之后将训练好的模型部署到真实的双臂 YAM 机器人上。针对每台机器,提示词都会描述机器人的部件、坐标系和摄像头。机器人的现有逆运动学软件和控制器负责执行实际运动。
模型基于 Qwen3.8-27B 这一开放权重推理模型。训练使用仿真任务的结果,而非人类操作机器人的示范。研究团队重点检验的是:在仿真中学到的技能能否迁移到模型未练习过的任务、不同的模拟器以及真实机器人。他们报告称,部署到真实机器人时,无需额外使用真实机器人数据进行训练。

模型取得了哪些结果?
最突出的结果是在真实 YAM 上进行零样本部署:最终模型在 30 次试验中成功 18 次,而基础模型一次也未成功。仅在 LIBERO 仿真中训练的模型检查点,在真实机器人试验中成功了 30 次中的 7 次,尽管它既未接触过这些任务,也未接触过这台机器人。这里的“零样本”是指模型在新机器人上测试前没有接受额外训练。
模型也能在不同仿真环境之间迁移技能。仅在 LIBERO 上训练后,它在 RoboDojo 的通用拾取任务和方块对齐任务上的成功率分别为 39.9% 和 17.0%,基础模型则分别为 10.7% 和 13.0%。在训练中加入更多 RoboDojo 任务后,报告的这些任务总体成功率达到 75.0%。
| 评估项目 | 基础模型 | 训练后模型 | 变化说明 |
|---|---|---|---|
| 真实双臂 YAM 试验 | 0/30 | 18/30 | 最终模型未经过真实机器人训练即接受测试 |
| 真实 YAM 试验,仅使用 LIBERO 训练的检查点 | — | 7/30 | 从仿真迁移到未见过的硬件 |
| RoboDojo 通用拾取,仅使用 LIBERO 训练 | 10.7% | 39.9% | 迁移到不同的模拟器和机器人 |
| RoboDojo 方块对齐,仅使用 LIBERO 训练 | 13.0% | 17.0% | 迁移到不同的模拟器和机器人 |
| LIBERO-Long,未直接训练 | 0.4% | 39.0% | 从其他 LIBERO 任务套件迁移 |
| 将 LIBERO-Long 纳入训练后 | — | 53.2% | 训练让模型直接接触该任务套件 |
模型在其他测得能力上的表现并未大幅下降。它在 AIME 上得分 98.5,在 GPQA Diamond 上得分 89.7,在 LiveCodeBench 上得分 88.4;在所有受测视觉基准上,与基础模型的差距都在两分以内。
仿真到机器人的系统如何运作?
模型会收到一段提示词,其中描述任务、机器人的构型和摄像头视角。接着,它会推理下一步该做什么,并输出末端执行器的目标位姿。这个目标是一条指令,例如夹爪应放在什么位置、以何种姿态摆放;它并不是发给各个电机的一串控制命令。独立的逆运动学系统会计算关节位置,随后由机器人控制器驱动机械臂抵达目标。
这种接口是实现跨机器人迁移的关键。动作格式保持不变,提示词则会根据机器人的部件和坐标系作相应调整。控制器也始终独立于模型。原则上,只要机器人能够接收位姿目标并配有合适的控制器,同一个训练好的策略就能用于不同的机器人硬件。
训练采用强化学习,结果只有两种:一次任务执行要么成功,要么失败。训练初期,成功的任务执行并不多,因此许多任务几乎无法提供有效的学习信号。为此,研究人员采用了课程学习。训练先从 LIBERO 的 Goal、Spatial 和 Object 任务套件开始,之后纳入全部四个 LIBERO 套件,最后加入两个 RoboDojo 任务。来自较容易或更易学任务的技能,帮助模型开始完成更难的任务,为强化学习提供更多改进所需的样本。
这种方法有意作出了取舍:模型每次只选择一个位姿,而不是生成多步动作序列。这样接口更简单,但复杂动作可能需要多轮推理和运动。

这项工作对机器人技术有何意义?
直接在实体硬件上训练机器人往往成本高、耗时长,因为每次失败的尝试都可能占用操作人员的时间和设备产能,有时还会损耗需要更换的部件。这项工作验证了一条路径:在仿真中完成学习,再由现有控制器将模型的高层决策转换为机器人运动。真实机器人的测试结果表明,在训练期间从未接触过的硬件上,仿真训练也可能产生有用的行为。
共用的位姿目标接口也可能让机器人使用模型更容易在不同平台之间复用。买方或工程团队仍需提供准确的机器人描述、摄像头信息和可靠的控制软件,但不一定要针对每台机器人重新训练模型。对于正在评估硬件种类各异的机器人群组的组织来说,这一点具有实际意义。
目前的证据仍属于早期演示,而不是可直接照搬的部署方案。真实世界试验数量有限,性能依赖详细的提示词,而且控制器每次移动机械臂前,模型都需要先进行推理。尽管如此,这项工作仍为比较机器人平台和规划仿真优先的开发路线提供了有用参考。评估硬件的团队也可以浏览待售二手机器人。
有哪些局限和待解问题?
训练仅涉及两个模拟器和少量任务,其中 RoboDojo 任务只有两个。研究人员停止扩大训练规模,主要是因为 GPU 资源有限;模型则基于一个拥有 27-billion 参数的基础模型。目前的结果还不能说明该方法在更广泛的机器人、环境或日常运行条件下能否有效。
该系统执行任务的速度也较慢。平均每轮推理约需 4.3 秒,有些推理序列长达 32,000 个词元,因此单次动作可能耗时超过半分钟。模型每次只执行一个位姿动作,复杂运动就需要额外的推理轮次。它的表现也高度依赖于能否清楚说明机器人和任务的提示词。最后,控制器的质量同样重要:如果运动不准确,机械臂就可能无法到达模型指定的目标位姿。
常见问题有哪些?
模型是否使用真实机器人数据进行训练? 没有。报告中的真实机器人测试使用的是在仿真中训练的模型,没有额外使用真实机器人数据进行训练。
模型会输出什么? 它会输出机器人的末端执行器目标位姿。独立的逆运动学系统和控制器会将该目标转换为机器人运动。
模型能否在从未用于训练的机器人上运行? 可以。最终模型在真实双臂 YAM 上接受测试,而该机器人不属于训练数据;模型在 30 次试验中成功了 18 次。
主要取舍是什么? 模型无需直接控制机器人的电机,就能在仿真机器人和真实机器人之间迁移;但它在每个位姿动作前都要进行推理,因此任务可能执行得较慢。
实践层面的结论是什么?
当仿真训练的推理模型搭配一致的基于位姿的接口时,它可以将有用的机器人技能迁移到陌生任务、不同模拟器和真实硬件上。结果令人鼓舞,但要实现实际部署,仍需提高动作速度、扩大任务覆盖范围并减少对提示词的依赖。
哪类机器人任务最能受益于仿真训练的推理?
