学习型技能模型助力机器人更快规划复杂操作任务

学习型技能模型助力机器人更快规划复杂操作任务

Itamar Mishani, Mukund Krishnakumar, Oren Salzman, Maxim Likhachev

1 分钟阅读•2026年11月17日

Lazy-MOSAIC 通过学习型模型预测机器人技能的作用,加快长时程机器人操作规划;随后,它会用更高保真度的仿真器检查候选方案,再决定是否采纳。在 160 次试验中,它解决了 104 项任务,而原版 MOSAIC 规划器解决了 81 项;在双方都能解决的设置中,速度最高提升 6.6 倍,同时避免模型错误导致错误方案通过验证。

目录

研究人员构建了什么?

Lazy-MOSAIC 是一种用于操作任务的规划系统,这类任务要求机器人按顺序执行一系列技能。技能是一种可重复使用的动作,例如移动物体或执行其他操作步骤。使用技能进行规划可以让长任务更容易管理,但规划器仍需确定哪种技能序列最有可能达成目标,以及机器人在每一步之后会处于什么状态。

该系统将学习型世界模型与一种称为延迟规划的搜索策略结合起来。世界模型预测各项技能的效果。由于查询这些预测的成本低于用于检查方案的高保真模型,Lazy-MOSAIC 用预测引导搜索,而不是将每项预测都视为已确认结果。

这种区别改变了规划器可以延后检查的内容。在普通的延迟搜索中,规划器可以推迟检查某个已知状态下的动作。而在这里,技能产生的状态本身也可能不确定。因此,Lazy-MOSAIC 将规划步骤和步骤之间的状态都视为假设。如果预测不正确,规划器会重新检查搜索中受影响的部分,而不是假定序列的其余部分仍然有效。

其目标是把昂贵的仿真计算用在真正有帮助的地方,同时确保最终方案以高保真模型为依据。

评估中使用的一项具有挑战性的操作规划任务示例

Lazy-MOSAIC 取得了哪些结果?

在八种基准测试设置中,Lazy-MOSAIC 的成功率与 MOSAIC 相当或更高。它在 160 次试验中解决了 104 项任务,而 MOSAIC 解决了 81 项。在双方都成功的试验中,Lazy-MOSAIC 在报告的简单、中等和困难设置下用时更少,方案长度则大致相当。

报告的比较项目MOSAICLazy-MOSAIC
160 次试验中的成功次数81104
简单设置下成功试验的平均用时124 s43 s
中等设置下成功试验的平均用时331 s83 s
困难设置下成功试验的平均用时479 s216 s
任务 3 困难设置的成功次数04/20

报告的单项设置最高加速比为 6.6 倍,出现在任务 3 中等难度设置。任务 3 困难设置仍然颇具挑战:Lazy-MOSAIC 在 20 次试验中解决了 4 次;不处理不确定性的版本解决了 1 次,其他方法则一次也未能解决。

随着环境杂乱程度上升,其他延迟规划基线解决的问题少得多。在中等和困难设置中,Lazy Options 解决了 9 次,Lazy Roadmap 解决了 13 次,而 Lazy-MOSAIC 解决了 64 次。为这些基线方法提供学习型模型后,虽然减少了仿真器查询次数,却没有带来同样高的成功率。结果表明,技能的选择和组织方式至关重要,而不只是能否低成本地预测技能效果。

Lazy-MOSAIC 如何工作?

规划器会搜索一系列技能,使机器人从初始状态到达目标。在以技能为中心的规划器中,每一步都包含两个相关部分:要执行的技能,以及执行后预期达到的状态。例如,方案可能预测某项操作技能会改变场景,从而使后续技能能够执行。如果这一预测的变化不正确,依赖它的后续步骤也可能出错。

Lazy-MOSAIC 使用学习型技能效果世界模型,以较低成本估算这些结果。它不会立即用高保真模型检查每个待执行技能及其产生的状态,而是先利用学习型预测探索有希望的可能性。这就是“延迟”的含义:只有在需要时才进行昂贵的评估。

延后检查需要谨慎处理,因为未经验证的状态不能作为方案其余部分的可靠依据。Lazy-MOSAIC 将预测状态与连接这些状态的技能步骤一并视为假设。如果高保真检查发现预测有误,规划器必须处理搜索中受影响的下游部分,而不能只将某个动作标记为错误,却让依赖该动作的状态不受影响。

方案获准之前,系统会通过认证,使用高保真模型对其进行检查。这项检查是确保规划正确性的安全保障:学习型模型可以影响搜索考虑哪些选项以及找到候选方案的速度,但其预测错误不会让未经认证的方案变得有效。论文通过与未认证变体的对比检验了这一点为何重要:预测更快本身并不能保证机器人达成目标。

这种设计将两项工作分开:学习型模型帮助引导搜索,而高保真检查则用于确认候选方案是否符合评估模型。

基准测试中一项具有挑战性的操作任务示意图

这对机器人技术为何重要?

机器人通常需要规划多个相互关联的动作,而评估所有可能的动作序列可能代价高昂。当任务涉及许多候选技能、物体摆放杂乱,或每次仿真检查都耗时较长时,这就会成为实际瓶颈。Lazy-MOSAIC 通过低成本预测聚焦搜索,同时在方案获准前保留更可靠的检查,旨在缓解这一瓶颈。

基准测试结果也为选择规划系统的团队指出了一点:仅有低成本模型还不够。即使学习型模型减少了仿真器查询次数,其他方法的成功率仍然较低,这表明搜索策略和技能组织也是整个系统的重要组成部分。对于运营团队而言,只有在规划器能更快生成满足任务要求的方案时,速度提升才有价值。

该评估针对的是仿真操作任务,并非实地部署,因此无法证明这种方法在某一款商用机器人上的表现。不过,评估平台的买家和工程师可以考虑平台是否支持基于技能的规划和基于仿真的验证。比较不同平台的团队可以浏览 Robot Overflow 上的人形机器人,或查看仓储机器人,了解多步操作与规划可能发挥作用的机器人类别。

有哪些局限和待解问题?

这些结果证明了该方法在所评估基准上的优势,但不能说明它适用于所有机器人、物体或真实环境。现有证据来自仿真试验,并未表明相同的成功率或加速效果能够迁移到硬件上;在硬件环境中,感知误差和未建模的物理效应都可能改变结果。

任务 3 困难设置也表明,难题依然难以解决:Lazy-MOSAIC 只在 20 次试验中解决了 4 次。论文摘录未提供足够细节,无法评估该方法对不同学习模型训练数据、模型质量或物理部署中认证成本的敏感程度。

最后,认证所保障的是方案相对于高保真模型的有效性,不一定代表其在真实世界中有效。一个关键的开放问题是,如何构建并验证该模型,使其在机器人、物体或运行条件发生变化时仍能作为可靠的参照。

常见问题

Lazy-MOSAIC 解决什么问题? 它通过减少规划器使用高保真模型评估选项的频率,加快多步操作任务的规划。

什么是技能效果世界模型? 这是一种学习型模型,用于预测机器人技能造成的状态变化,使规划器能够以较低成本探索候选方案。

学习型模型会决定方案是否有效吗? 不会。它负责引导搜索,而认证会在方案获准前,使用高保真模型检查候选方案。

Lazy-MOSAIC 与 MOSAIC 相比表现如何? 它在 160 次试验中解决了 104 次,而 MOSAIC 解决了 81 次;在双方均成功的报告设置中,它也更快。

结论

Lazy-MOSAIC 将学习型预测与延后的高保真检查结合起来,加快基于技能的操作规划,同时不把学习型模型当作最终裁决者。其基准测试结果令人鼓舞,但最困难的任务以及仿真与真实世界运行之间的差距,仍是需要重点检验的问题。

更快且经过认证的技能规划,在哪些机器人运营场景中最能发挥作用?