研究人员开发了一种可扩展的行为基础模型(BFM),用于人形机器人,该模型在全局运动任务中将全身控制误差降低了超过82%。通过协调新的运动跟踪学习范式、策略性数据协同以及专门设计的Transformer架构,这种方法为通用人形机器人控制树立了新标准。
目录
研究人员构建了什么
团队构建了一个可扩展的行为基础模型(BFM)——一种深度学习系统,通过模仿数百万个全身运动参考来学习控制人形机器人。与以往将运动、操作和姿态视为独立问题的控制器不同,该BFM将所有控制任务重新定义为在全局坐标系中复现整合的全身行为的统一问题。
该模型称为人形Transformer,处理关节角度、身体姿态和控制信号序列,实时输出电机指令。训练依赖于精心混合的模拟回放(机器人练习自身生成的运动)和多样化的参考运动库(来自人类捕获或程序化生成)。结果是一个单一的神经网络,能够行走、伸手、蹲下和从干扰中恢复,而无需针对特定任务进行微调。
研究人员在模拟和真实环境中验证了该方法,硬件测试使用了全尺寸人形平台。

关键成果
与现有控制器相比,BFM实现了显著改进:
| 指标 | 相对于先前控制器的改进 |
|---|---|
| 平均每关键点位置误差(MPKPE)——局部模式 | >10%减少 |
| 平均每关键点位置误差(MPKPE)——全局模式 | 82%减少 |
| 任务泛化能力(模拟) | 零样本迁移至新运动序列 |
| 真实世界部署 | 成功复现多种全身行为 |
全局模式的改进尤为重要——它意味着机器人跟踪全身运动(如人类行走或跳舞)时,位置误差比先前方法降低了近5倍。局部模式的改进虽然较小,但仍代表了对精细关节控制的显著提升。
在模拟中,模型无需任何重新训练即可泛化到未见过的运动参考,这是先前控制器所不具备的能力。真实世界测试证实,同一模型在模拟中训练后可有效迁移至物理硬件。
工作原理
BFM架构基于三个协调的设计选择:
- 运动跟踪作为统一学习问题 – 不将不同人形任务(行走、伸手、平衡)视为独立的策略学习问题,研究人员将所有任务定义为“跟踪全局全身运动参考”。参考运动是3D空间中关键点位置的时间序列(头部、躯干、手臂、腿部等)。模型必须输出关节力矩,使机器人实际关键点与参考匹配。这种简单重新定义允许单一策略处理运动、操作和姿态。
- 策略性数据协同 – 训练数据来自两个来源:训练期间生成的策略内回放(机器人尝试跟随运动并记录(状态,动作)对)和包含多样参考运动的离线数据集。研究人员发现关键不仅在于拥有大量数据,还在于平衡策略内回放的数量与参考运动的多样性。过多的策略内数据导致过拟合;多样性过多而缺乏练习则导致跟踪效果差。他们找到了获得最佳泛化能力的最优比例。
- 人形Transformer – 一种基于Transformer的神经网络,处理机器人状态和参考运动的时间序列。它使用因果掩码(仅基于过去和当前信息预测动作)和一种新颖的注意力机制,鼓励结构化表示的出现:网络自动学习将身体部位分成有意义的组(例如,左臂、右腿),无需显式监督。这种结构化表示是实现强泛化能力的关键。
该模型通过强化学习(策略内回放)和监督模仿学习(匹配参考运动)在模拟中训练。训练后,策略在机器人的机载计算机上实时运行。

为什么这对机器人技术很重要
人形机器人在工厂、仓库和家庭中潜力巨大,但控制仍然是瓶颈。如今的人形机器人通常行动僵硬、容易摔倒,或者需要为每项任务配备单独的控制器。该BFM指向了一个未来,即单一模型处理所有任务——在不平地形上行走、捡起箱子以及从推挤中恢复。
对于仓库机器人和二手工业机器人,无需重新训练即可泛化的能力可以大幅降低部署成本。一个能够从多样化运动数据中学习并实时适应新任务的人形机器人,远比需要专家为每项工作编程的机器人更实用。
全局跟踪误差降低82%意味着人形机器人终于能够以真实世界交互所需的流畅性执行动态全身运动——无论是在生产线上组装零件,还是在老年护理中提供协助。这项工作也验证了在Robot Overflow上浏览人形机器人正迅速接近商业可行性。
局限性与未解问题
该论文主要关注受控环境中的运动跟踪和任务泛化。真实世界的非结构化场景——具有可变光照、障碍物和动态人群——尚未测试。该模型还需要预定义参考运动;它还不能从高层目标中自主规划运动。
虽然展示了模拟到现实的迁移,但可能无法扩展到所有人形机器人硬件平台。当前架构计算量大,可能限制在低成本机器人上的部署。最后,策略内数据和离线数据之间的最优协同可能随机器人形态或运动库组成而变化——该配方并非通用。
常见问题解答
什么是行为基础模型(BFM)? BFM是一种大型神经网络,在大量行为数据(机器人运动)上训练,以产生一个无需重新训练即可处理多种任务的通用控制器。
人形Transformer与标准Transformer有何不同? 它使用因果注意力机制,并学习身体部位的结构化表示,这有助于模型在不同运动和环境中泛化。
该模型可以用于任何人形机器人吗? 它在一个特定的全尺寸人形机器人上进行了测试。虽然架构是通用的,但其他平台需要根据其运动学和动力学重新训练。
什么是MPKPE,为什么82%的减少很重要? 平均每关键点位置误差衡量机器人实际身体关键点与目标运动之间的偏差。82%的减少意味着机器人几乎完美地跟随类人运动——这对于跳舞、携带物体或与人互动等任务至关重要。
结论
通过协调的学习范式、数据策略和Transformer架构,可扩展行为基础模型在人形机器人控制性能上实现了阶跃式改进。全局跟踪误差降低82%表明,BFM不仅是一个理论概念,更是通向通用人形机器人的实用路径。
我们距离拥有在所有日常任务中匹配人类敏捷性的人形机器人还有多远?
