第一人称视角的人类视频可以教会机器人可迁移的操作技能，但数据量并不能单独说明哪些数据真正有效。Ego4WAM在固定世界动作模型的前提下，对比了对齐示范、多任务视频-动作数据和纯视频预训练，发现对齐程度、任务覆盖范围和监督方式各自发挥着不同作用；人类数据可以减少机器人示范需求，但无法取代针对机器人的训练。
目录
研究人员构建了什么？
Ego4WAM是一项受控研究，探讨从第一人称视角（即自我中心视角）记录的人类活动如何帮助机器人学习操作技能。研究人员没有把每小时视频都视为同等有用，而是根据数据包含的内容及其监督学习的可靠程度进行分类。他们提出的“第一人称数据金字塔”从相对少量、与机器人任务对齐的人类示范，延伸到带有人类动作标注的更大规模数据集，再到规模最大、缺少可靠动作标签的视频集合。
研究在改变人类数据及模型使用数据的方式时，保持主要模型骨干网络和动作表示不变。这样更容易区分人机对齐程度、视频总时长、任务多样性和动作监督各自带来的影响。对齐的人类录像来自EgoAlign，采集环境与真实机器人任务相匹配。
研究人员在仿真环境以及一台真实的双臂Piper机器人上测试了最终策略。真实世界任务包括将物体放入篮子和折叠布料；其他评估任务还涉及毛巾、瓶盖、盘子和碗，以及微波炉。这些任务涵盖刚性与可变形物体，也包括需要多个步骤的操作。
主要结果是什么？
人类示范帮助机器人应对训练中未见过的变化。在折叠布料实验中，研究人员将500个人类示范的数量保持不变，同时把机器人训练示例从300个减少到100个。加入人类数据后，机器人在同分布条件下的成功率恢复到80%，面对陌生物体时达到60%，在陌生场景中达到80%。但当机器人训练数据进一步减少到仅20个示范时，同样的人类数据无法弥补这一不足。
大规模实验表明，增加数据时长和增加任务多样性并不能互相替代。在相同的500项常见任务中，将数据时长从1,000小时增加到4,000小时，提高了泛化得分和长时程得分。扩大任务覆盖范围也能提升这些指标，但加入更多长尾任务会降低对精度敏感的表现。在数据量相同的情况下，常见任务覆盖更密集的数据，在多项综合指标上仍优于覆盖范围更广的数据。
| 扩展方式 | 数据变化 | 泛化得分 | 长时程得分 | 报告的权衡结果 |
|---|---|---|---|---|
| 增加时长，固定任务集 | 500项任务共1,000至4,000小时 | 5.0至7.8 | 12.0至16.2 | 增加时长提升了报告中的两项指标 |
| 增加任务多样性 | 500至6,000项任务；1,000至12,000小时 | 5.0至7.0 | 12.0至16.2 | 加入长尾任务后，精度有所下降 |
这些是基准测试得分，并非百分比。研究还报告称，纯视频预训练能够改善后续的世界动作学习，但论文提供的文本没有给出这一结果的具体数值增幅。
Ego4WAM如何工作？
实验采用世界动作模型（WAM）：这类模型学习将视觉观测与动作联系起来，而不是孤立地学习动作。在主要对比实验中，研究人员固定了模型骨干网络及其统一动作空间，再改变数据和训练策略，因此结果变化不太可能仅仅源于模型本身的改变。
统一动作空间总共用32个数值表示机器人的双臂。每条手臂有一个16维表示：包括一个6D关节信号、夹爪状态，以及一个9D末端执行器表示。末端执行器部分描述手部在三维空间中的位置，以及以六个维度表示的旋转。人类和机器人身体的运动方式并不相同，因此系统不会试图把每一种人体动作都转换成对应的机器人关节指令。相反，人类动作标签只监督那些能够有意义地共享的部分：末端执行器姿态和夹爪状态。对于没有人类标签的维度，研究人员在训练中采用噪声填充方法进行处理。
数据实验逐步放宽监督要求。在对齐程度最高的层级，人类示范的任务类型和场景条件与机器人相同。多任务数据集为多种行为提供人类动作标注。纯视频数据可能缺乏可靠的动作标签，但仍能帮助模型学习交互和物体如何随时间变化。研究的结论是，这种基于视频的动力学知识能够增强后续的世界动作训练。
在规模对比中，研究人员要么在任务集固定时增加视频时长，要么在每项任务的平均数据量大致不变时增加任务多样性。这样的设置能够帮助研究人员判断，表现变化究竟来自对熟悉行为的重复经验，还是来自接触更广泛行为。
这对机器人技术为何重要？
许多机器人学习项目都面临一个实际的数据选择：采集机器人示范、记录人们执行任务的视频，还是使用不含动作标签的大规模视频集合进行训练。Ego4WAM表明，这些选项不能相互替代。人类录像可以提供多样化示例，帮助机器人应对陌生物体或场景；而机器人示范对于将已学知识适配到特定机器上仍然至关重要。
研究结果也表明，不能只用视频总时长来衡量数据流程的价值。由罕见、多样任务主导的大型数据集，其精度提升可能不如对常见行为进行稳定、充分的覆盖。对团队来说，关键问题不只是“能收集多少视频？”，还包括“数据涵盖了哪些行为、标签有多可靠，以及数据与机器人的部署需求有多匹配？”
这也关系到企业如何同时评估操作硬件和数据策略。正在探索协作机器人平台的团队可以浏览在售二手协作机器人，同时应将针对特定机器人的示范和适配纳入部署计划，而不能认为人类视频让这一步变得多余。
有哪些局限和未解问题？
这项研究提供了有价值的对比，但并未证明相同的数据配比适用于所有机器人、任务或工作场所。真实机器人实验使用的是双臂Piper平台，且操作任务种类有限。对于移动机器人、不同类型的夹爪、更高速的操作，或对安全和精度要求更严格的任务，结果可能会有所不同。
论文提供的文本中，部分结果缺少详细的数值明细。具体来说，研究指出纯视频预训练能够改善后续学习，但没有在此提供提升幅度。基准测试得分也未附带单位，因此应将其视为研究内部的对比结果，而不是直接衡量实际运行表现的指标。最后，研究显示部分长尾任务数据可能损害精度，但没有确定值得覆盖多少稀有任务的普适阈值。
关于Ego4WAM，读者还应了解什么？
人类示范能取代机器人示范吗？ 不能。人类数据可以减少所需的机器人训练量，但在研究所测试的设置中，研究发现仅有20个机器人示范仍不足以让策略有效运行。
增加人类视频总能提升机器人表现吗？ 不能。增加视频时长和任务多样性有助于提升部分指标，但更广泛地覆盖长尾任务也会降低对精度敏感的表现。
没有动作标签的视频仍然有用吗？ 有用。研究报告称，纯视频预训练能够为后续世界动作训练提供关于物体和交互动力学的有效知识。
真实机器人测试了哪些任务？ 测试包括将物体放入篮子和折叠布料，其他任务还涉及毛巾、瓶盖、盘子和碗，以及微波炉。
关于机器人学习，读者应记住什么？
Ego4WAM的核心结论是，人类数据的价值取决于数据对齐程度、任务覆盖范围和监督方式，而不只是数据规模。对于操作系统，人类视频能够拓展经验，但针对机器人的专门数据仍是不可或缺的基础。
在你的应用中，哪些人类行为最能帮助机器人提升表现？