据 Roboticsandautomationnews 首先报道,Skild AI 通过仿真中的自博弈训练其 S1 机器人基础模型踢足球,随后将训练出的策略迁移到实体人形机器人上。Skild 表示,这种方法未来有望帮助机器人掌握日益复杂的技能,而不必由人类逐一示范每个动作;此次实体演示则展示了足球运动。
Skild 在 Nvidia Isaac Sim 中搭建了环境,并为策略设定了唯一目标:进球。它没有明确规定盘带、抢断或跌倒后的恢复动作,而是让策略与能力逐步增强的自身版本展开竞争。
在仿真的最初几个月里,机器人几乎还不会走路;之后,它逐渐学会跌倒后起身、绕过防守队员盘带、护球以及抢断对手。Skild 表示,这些行为都是从进球目标中自然涌现的,并非通过针对单项行为设计的奖励塑造而来。
经过超过 140 年的仿真比赛后,Skild 将训练出的策略迁移到实体人形机器人上,并展示了它踢足球的过程。足球运动融合了移动、操作、从物理扰动中恢复,以及与对手进行策略性交互等能力。
这项工作是在 S1 上进行的后训练扩展。Skild 于 8 月推出了 S1。S1 使用人类视频、手套数据、仿真和遥操作进行预训练,旨在通过上下文示范学习任务。
Skild 认为,主要依赖人类生成数据训练的模型,能力会受限于这些数据所呈现的水平;而实体环境中的自博弈则可能让机器人超越人类能力。在此次工作中,S1 的混合数据预训练与策略后续的自博弈训练构成了不同阶段。
Skild 表示,这种方法已开始拓展至日常机器人任务。该公司称,早期的四智能体足球实验已开始展现出传球与协调行为;未来的工作预计将随着交互机器人数量增加,探索协作操作与导航。
