Unitree G1 人形机器人利用深度相机和一对学习得到的控制器,在真实环境中行走、奔跑、爬楼梯,以及跳上和跳下箱子。该系统将动作选择与机器人身体控制分开,再通过强化学习微调动作生成器;研究人员报告称,动作选择最多提升80个百分点,任务成功率最多提升25个百分点。
目录
研究人员构建了什么?
研究人员为人形机器人构建了一套由两部分组成的控制系统。动作生成器读取深度图像和指定的行进速度,然后生成一段简短的全身动作计划。另一个跟踪控制器则将计划转化为关节指令,调整机器人的动作,使其跟随参考轨迹并保持平衡。生成器每0.24秒更新一次计划;跟踪器则以50 Hz持续运行。
研究人员在室内和室外环境中使用 Unitree G1 展示了这套系统。机器人能够行走、奔跑、站立、上下楼梯并跳越箱子。该设计没有让单一策略同时负责理解场景并直接控制每个关节,而是将任务分配给两个策略:一个根据相机看到的情况选择合适动作,另一个负责执行该动作。
为了提供训练样例,团队从采集的人体动作数据出发,并对其进行优化,使之适用于机器人。这一过程为不同速度、方向和地形交互生成了数百条动作参考轨迹。最终系统在单一流程中整合了动作数据、地形感知规划和实时机器人控制。

主要结果是什么?
报告中的主要提升来自对动作生成器进行强化学习微调。与相应的微调前结果相比,该方法使动作选择最多提升80个百分点,任务成功率最多提升25个百分点。这些是报告的最大提升幅度,并不代表每项任务都会取得相同程度的改善。
| 报告指标 | 微调带来的提升 |
|---|---|
| 动作选择 | 最多80个百分点 |
| 任务成功率 | 最多25个百分点 |
论文还报告了在真实机器人上进行的演示,包括室内和室外环境中的行走、奔跑、上下楼梯和跳越箱子。系统在地形周围调整动作时,仍能保持指令要求的行进速度,因此障碍物出现时无需重新下达速度指令。两台深度相机帮助机器人及时发现前方障碍并减速。研究人员报告称,移除上方相机会严重削弱这项能力。
这些结果既展示了可量化的微调收益,也提供了实际硬件演示。不过,现有结果没有给出绝对成功率、逐项任务的完整数据,或与其他机器人系统的直接数值比较。因此,解读百分点提升时,也应结合硬件测试中的定性证据。
系统如何工作?
整个流程从基于人体动作数据生成的动作参考轨迹开始。团队使用机器人动力学模拟器优化这些参考轨迹,使动作更符合机器人的物理能力和目标速度。优化还可以约束动作呈周期性——例如,确保一个步行周期结束时的状态能够与起始状态平顺衔接。最终动作库包含252种稳态动作,例如不同方向的行走和奔跑,以及46条适用于楼梯和跳箱的参考轨迹。训练库总计包含10,000段片段,涵盖140种地形几何形态。
跟踪器经过训练,可以跟随这些参考轨迹。它的反馈控制器会比较机器人的当前状态与计划动作,并向机器人的电机控制器发送关节位置目标。它跟踪的是机器人各个连杆的位置,而不只是关节角度;训练时还会抑制非预期接触、过大扭矩以及超出关节限位的动作。训练还会随机化物理属性和传感器读数,以降低控制器对某一特定模拟设置的依赖。
动作生成器是一个采用流匹配训练的Transformer模型。流匹配是一种学习如何根据一系列逐步细化的输出生成轨迹的方法。它以两台相机拍摄的深度图像、指定速度和一段精简的先前轨迹记录作为条件来生成计划。相机直接提供深度输入,而非预先构建的地形地图;系统也不需要里程计。部署时,生成器使用八个细化步骤,运行时间约为11毫秒;跟踪器的运行时间不到1毫秒。提供给跟踪器的深度图像会下采样至30 × 26像素。

这对机器人技术为何重要?
人形机器人需要的不只是在平坦地面上稳定行走。它们必须在协调全身动作的同时应对地面变化,而且不能每遇到一个障碍就等人来选择新的动作。将动作生成与动作跟踪分开的设计,是一种兼顾灵活规划与快速、高频控制的实用方法。
相机也让控制回路能够更灵敏地应对地形。朝前上方的相机可以在机器人抵达障碍物前发现它,较低位置的相机则能观察附近的地面和腿部。这样,机器人可以在保持原有速度指令的同时调整步伐。对于存在台阶、凸起表面或地面布局不断变化的设施,提前感知地形有助于机器人在没有预先绘制路线的情况下进行适应。
对于正在评估Robot Overflow 上的人形机器人的买家而言,这些结果尤其值得关注,特别是任务涉及平地行走以外的移动能力时。这些演示并不能证明系统已具备无人监督的商业运营能力,但展示了感知、学习得到的动作规划和快速稳定控制器如何在真实硬件上协同工作。
有哪些局限和待解问题?
该系统使用深度信息描述物体的形状和距离,却无法理解物体的含义。它可以识别出一个箱状物体,却不知道跳上去是否安全或合适。论文没有描述表达这类语义指令的机制。
训练流程仍需要人工参与。人员需要选择参考动作,或通过启发式方法选取动作;部分动作转换设置还需要手动调节。微调依赖人工设计的奖励函数,要将其应用于差异很大的技能可能并不容易。所提供的结果没有按任务详细列出报告的百分点提升,相机消融实验也只作了定性描述,没有给出数值指标。还需要进一步测试,才能了解系统在更长时间的部署、各种环境以及演示技能范围之外的任务中的可靠性。
买家和工程师会问哪些问题?
机器人是否使用同一个策略来规划动作并控制关节? 不是。动作生成器负责生成简短的动作计划,速度更快的跟踪控制器则将计划转化为关节目标。
系统使用哪些传感器? 系统使用两台深度相机,一台安装在躯干较高处,另一台安装在较低位置。策略直接接收深度图像,不需要里程计。
演示了哪些动作? 在室内和室外演示中,Unitree G1 行走、奔跑、站立、上下楼梯,并跳上和跳下箱子。
报告的提升是绝对成功率吗? 不是。论文报告称,动作选择最多提升80个百分点,任务成功率最多提升25个百分点,但这些数字不是绝对成功率。
核心结论是什么?
这项研究展示了一种人形机器人系统:利用深度感知为多样地形选择动作,并由独立控制器在硬件上跟踪执行这些动作。微调结果令人鼓舞,但要实现更广泛的部署,仍需提升语义理解能力、减少人工设置,并提供更详细的性能测量结果。
人形机器人接下来应该学会应对哪种真实地形挑战?
