Workhorse通过人类示范学习人形机器人的全身操作,并在真实的Unitree G1上执行任务,相关研究最先由Arxiv报道。该系统将人体姿态示范与视觉规划和机器人全身控制相结合;真实场景中的箱子分拣示范还展示了机器人在人推它或拿走箱子后如何恢复,仿真测试则用于衡量任务完成情况。
人形机器人仍难以仅凭第一人称视角RGB图像和本体感知,规划涉及大量接触的全身操作任务。Workhorse将任务分配给视觉规划器和基于强化学习的全身跟踪器。规划器预测五个目标姿态:躯干、左右手腕和双脚;跟踪器则让机器人跟随这些姿态。
两种策略分别使用同一批记录的人体姿态进行训练,无需动作重定向。训练时,两种策略的数据都会经过增强,以模拟另一种策略在部署时可能犯下的错误。这样既无需让机器人参与示范,又能将策略间的误差纳入训练。
在真实的Unitree G1上,Workhorse用双手和踢击分拣箱子、接住被抛来的箱子,还会将行李箱撞倒并爬上去。箱子分拣示范还展示了机器人在人推它或拿走箱子后恢复的过程。
在示范房间的仿真复刻环境中,箱子分拣任务在77%的回合中成功;受到40 N.s推力时,成功率为64%。使用同一批示范重新训练两种策略后,仿真中的另一台人形机器人在没有推搡干扰的情况下,箱子分拣任务成功率达到83%。
