Awaken-HI利用人类视频和全身动作训练人形机器人,再通过150小时的机器人遥操作让机器人适应所学经验。在EngineAI T800上,最终策略在八项全身任务中的平均成功率达到93.75%;更大规模的人类数据集也提升了家庭任务表现。这为同时教授机器人行走与操作提供了一条务实路径,无须为每种动作都采集机器人示范。
目录
- 研究人员构建了什么?
- Awaken-HI取得了哪些成果?
- Awaken-HI如何将人类经验转化为机器人动作?
- 为什么全身预训练对机器人技术很重要?
- 有哪些局限和未解问题?
- 团队需要了解Awaken-HI的哪些信息?
- 核心结论是什么?
研究人员构建了什么?
EngineAI的Awaken-HI是一套人形机器人训练系统:先从人的示范中学习,再将所学内容适配到特定机器人。其基础是Awaken-Human,这是一个将50,000小时第一人称视频与同步录制的人体动作配对的数据集。该语料库包含约17.02 million个片段、5.41 billion帧姿态数据和11.18 million条语言指令。
参与者佩戴PICO头显和五个身体追踪器录制示范。这套设备采集立体视频——来自两台摄像机的画面,有助于估计距离——以及身体动作。数据涵盖家庭、工作场所、商店和仓储区域中的100多种技能,包括搬运物品、将物品放上货架、叠衣服和擦拭表面。连续录制保留了人们使用双手时行走、转身、蹲下和调整位置的过程。
团队还为录制内容添加了训练所需的标注:任务片段描述、从视频重建的手部姿态,以及估算的场景深度。人工审核人员检查了初始任务标签,并过滤掉质量较低的手部观测数据。经过清理和对齐的数据让机器人不仅能学习人做了什么,也能理解动作、物体和指令之间的联系。

Awaken-HI取得了哪些成果?
报告中最突出的结果是:经过针对机器人的训练后,八项独立全身任务的平均成功率达到93.75%。这些任务包括走到物体旁、捡起物体、将物体放上货架、挂起衣物以及搬动洗衣篮。每项任务评估了十次,各方法使用相同的起始配置。
更多人类预训练数据也提升了三项家庭任务的表现。人类示范数据集从5,000小时增加到50,000小时后,平均成功率从56.7%升至90.0%。在改变物体对应目的地的测试中,Awaken-HI在两项工业指令变更测试中所有试次均成功,在两项家庭场景变更测试中的成功率为80%。论文报告称,在全部四项测试中,Awaken-HI的表现都优于所测试的两个视觉—语言—动作基线。
Awaken-HI还处理了两种未出现在机器人后训练示范中的物体:纸巾和药瓶。其对象级完成率分别为50%和30%,而两个基线对这两种物体的完成率均为0%。这些测试显示出更强的迁移能力,但物体测试结果也表明,处理陌生物品仍然具有挑战性。
| 评估项目 | Awaken-HI结果 |
|---|---|
| 八项独立全身任务 | 平均成功率93.75% |
| 使用5,000小时人类预训练数据后的家庭任务 | 平均成功率56.7% |
| 使用50,000小时人类预训练数据后的家庭任务 | 平均成功率90.0% |
| 两项工业指令组合测试 | 每项成功率100% |
| 两项家庭指令组合测试 | 每项成功率80% |
| 未见过的纸巾/药瓶 | 对象级完成率50%/30% |
| 基线对未见过的纸巾/药瓶 | 0%/0% |

Awaken-HI如何将人类经验转化为机器人动作?
Awaken-HI的一项关键设计,是同时学习人类动作和机器人动作。人体与机器人身体比例不同,直接复制人的姿态无法生成可行的机器人动作。因此,系统将人类示范重定向到EngineAI T800的动作空间,同时保留原始人类动作作为第二个训练目标。
该模型将视觉—语言骨干网络与共享动作专家相结合。视觉—语言组件处理相机图像和指令;动作专家则预测未来一段时间内的动作。预训练期间,独立的输入和输出分支分别表示T800动作、原始人体动作和腕部姿态。动作专家由这些分支共享,因此三类动作监督都会共同训练同一个核心模型。额外的深度预测帮助系统判断距离和物体位置,语言预测则用于识别当前子任务。
在机器人上使用之前,预训练策略会利用150小时的T800遥操作数据进行微调。这些数据将机器人观测和测量状态与远程操作员示范的动作配对。微调使学到的人类动作模式能够适应机器人的身体结构和控制方式。
部署时,策略根据当前观测预测一段动作序列,将目标传递给T800的低层控制器,并在收到新观测后重复这一过程。这种反复更新称为滚动时域控制:机器人先规划,再执行,然后更新计划,而不是一次性执行一段很长的动作序列。

为什么全身预训练对机器人技术很重要?
许多有用的人形机器人任务并不只是手部动作。机器人必须接近物体、调整身体朝向、伸手或蹲下、操纵物体,有时还要拿着物体移动。利用连续的人类示范训练,Awaken-HI能够学习这些协同动作的转换,而不是只看到抓取或行走的孤立片段。
对于正在权衡机器人数据采集成本的团队而言,这项规模化结果尤其值得关注。Awaken-HI先利用大规模人类示范进行预训练,再依靠规模较小的机器人专属数据集适配行为。人类数据集从最小规模扩展到最大规模后,成功率从56.7%升至90.0%,这表明人类经验的作用可能不止于初始热启动。
泛化测试也提供了有用的实际表现信号。熟悉的物体被分配到新的目的地时,机器人能够调整放置位置;面对让基线系统失败的陌生物体,它也完成了部分任务。这种灵活性对不断变化的工作环境很重要,但这些结果并不能证明机器人能在任意物体或环境中可靠工作。
团队评估平台时,可以浏览Robot Overflow上的人形机器人。对于仓储和物料搬运应用,仓储机器人也是一个相关类别,可供比较,不过Awaken-HI测试所用的是人形机器人平台。
有哪些局限和未解问题?
评估涵盖一个人形机器人平台EngineAI T800上的八项独立任务和两组长时序任务。每组报告的试次数都很少,每项任务或指令测试仅十次,因此结果无法说明面对更多物体、环境或运行条件时,性能会如何变化。提供的结果也没有列出每项任务的精确基线成功率,因此部分比较难以量化。
陌生物体测试结果虽有潜力,但表现有限:纸巾的完成率为50%,药瓶为30%。该方法还依赖大量数据基础设施,包括可穿戴追踪器、立体视频、标注以及150小时的机器人遥操作。仍需进一步测试,才能确定这些技能能否迁移到其他人形机器人、能否应对意外变化,以及能否在长期部署中安全运行。
团队需要了解Awaken-HI的哪些信息?
Awaken-HI只使用机器人示范训练吗? 不是。它先从人类视频和动作中学习,再利用T800的150小时遥操作数据进行微调。
机器人执行了哪些类型的任务? 测试任务包括走到物体旁、捡取和放置物品、往货架上摆放物品、挂衣物以及搬运洗衣篮。
更多人类数据是否提升了表现? 是。在三项家庭任务中,人类示范数据从5,000小时增加到50,000小时后,报告的平均成功率从56.7%升至90.0%。
系统能处理从未见过的物体吗? 对于两种未出现在机器人后训练数据中的物体,系统完成了部分试次,而两个基线在这些物体上的得分均为零。不过,它的完成率仍然有限。
核心结论是什么?
Awaken-HI展示了大规模人类动作数据如何帮助人形机器人协调行走与操作,并通过机器人遥操作适配这些技能。在测试任务中,它取得了出色结果;但更广泛的迁移能力和可靠处理陌生物体仍是尚待解决的挑战。
你认为哪种现实世界的人形机器人任务最能受益于从人类示范中学习?
