研究人员构建了Ego2Robot，这是一条流水线，可将随意录制的第一人称人类操作视频转换为覆盖15种机器人形态的18,561小时模拟机器人训练数据。当与真实机器人演示混合时，合成数据在物理硬件上的策略成功率提升了最多14个百分点。这项工作解锁了全球大量人类视频资源，为机器人学习提供了可扩展的数据来源。
目录
研究团队构建了什么
Ego2Robot是一条数据合成流水线，可将普通的第一人称人类操作视频转变成立即可用的机器人训练片段。该流水线执行两种对齐操作。动作对齐：估计手部姿态并重新映射到机器人的运动学结构上，然后以相机坐标系下的末端执行器相对表示重新表达运动，这种表示不需要外部校准即可在不同相机和机械臂之间通用。视觉对齐：将机器人渲染到场景中，使用修补和深度感知合成来替换人类手部，同时保留环境。
输出通过多层次质量筛选系统，包括一个视觉语言模型，用于审核每个片段是否与其文本指令在语义上一致。长视频会被自动分割为带有自然语言描述的子任务。结果是迄今报道的最大的自我中心到机器人数据集：覆盖15种机器人形态的18,561小时合成数据。该项目还引入了一个解耦泛化基准，将视觉、场景、形态和语义扰动分开评估，并在物理ACone双臂机器人上验证了整体方法。
关键成果
最重要的成果是规模：从成本仅需一个头戴相机的自我中心视频中生成了覆盖15种形态的18,561小时合成机器人数据。但规模本身并不能保证数据的可学习性，因此团队仔细测量了泛化性能。在RoboTwin Randomizes基准上，原始自我中心视频预训练达到28.1%的成功率；通过Ego2Robot流水线处理同一视频后，成功率提升至31.7%（+3.6个百分点）。将形态数量从1扩展到15后，性能提升至33.5%；而将原始自我中心片段作为第16种“形态”加入后，达到37.3%——原始数据有效丰富了预训练的多样性。
在物理硬件上，效果更为显著。使用ARX ACone双臂机器人，每个任务仅20次遥操作演示加上从35分钟随意自我中心视频生成的675个合成片段进行训练，五个任务全部超过仅用机器人的基线。最大增益出现在“放积木”任务（+14个百分点）和“拧螺丝”任务（+13个百分点）。在OpenPI框架下的比较发现，Ego2R+Robot（1:1）在几乎所有设置下都优于仅用机器人的基线，包括未见物体和改写指令的任务。
工作原理
流水线包含三个阶段。动作对齐：从视频中提取的手部姿态被重新映射到15种机器人实体上，包括Aloha-Agilex、ARX-L5、Franka Panda和UR5e。由于策略使用相机坐标系下的末端执行器相对表示，来自不同相机和机械臂的片段无需校准即可共享动作空间。视觉对齐：机器人通过深度感知混合合成到修补后的场景中，生成机器人替代人类手部的帧。质量筛选：稳定性过滤器去除短小的无效运行，视觉语言模型以4 fps审核每个片段，丢弃动作类型、物体类别或目标位置与指令冲突的片段。
对于长视频，片段在60秒边界处分割，VLM将片段分割为完整的子任务，并生成5-12个词的指令，这些指令后续用于条件化策略。模型是视觉-语言-动作架构，基于Qwen3.5-4B，带有扩散Transformer动作头，预测32步动作块，使用8个扩散步骤（推理时4个Euler步骤）。训练采用预训练再微调的方案：在自我中心数据上预训练，然后在干净的任务演示上微调——真实机器人实验的混合比例为1:1。
| 预训练数据（仅自我中心来源） | 数据量 | RoboTwin Randomized成功率 |
|---|---|---|
| 原始自我中心视频 | ~1,940小时 | 28.1% |
| Ego2R，1种形态（ARX-L5） | ~1,237小时 | 31.7% |
| Ego2R，15种形态 | ~18,561小时 | 33.5% |
| Ego2R（15）+ 原始自我中心 | ~20,501小时 | 37.3% |
来自论文消融研究的结果；所有模型仅在自我中心来源数据上预训练，然后在RoboTwin Clean上微调。
为何这对机器人学至关重要
机器人学习受制于数据。遥操作演示收集缓慢、成本高昂，且通常需要专家。Ego2Robot通过挖掘大量已存在的第一人称人类视频——烹饪教程、维修指南、开箱视频——并将其转换为覆盖15种机器人类型的18,561小时机器人数据，绕过了这一瓶颈。这对买家而言很重要，因为同一视频语料库可以服务于异构机队：运营多种机械臂品牌的企业可以从单一数据源获得所有机械臂的预训练覆盖，然后每个任务补充少量遥操作演示。
相机坐标系动作表示也具有实际意义：在混合数据源时无需进行机器人特定标定。对于在Robot Overflow上评估新硬件的组织——无论是浏览人形机器人还是购买二手协作机器人——一条能够将现有视频资产适配到任何机器人上的训练流水线是真正的成本节省者。
局限性与开放问题
重定向将人类手部映射到平行夹爪，因此丢弃了手指级灵巧性——转移到多指手仍是未来工作。视觉对齐依赖修补和深度感知合成，在严重遮挡或复杂光照下可能引入伪影。评估仅限于RoboTwin 2.0任务集加五个真实机器人任务，且都是短视距桌面操作；长视距和移动操作未测试。真实机器人验证每个任务集仅使用20个演示和35分钟自我中心视频。此外，基于VLM的筛选受限于审核器的能力——细微的不匹配可能漏过，而过度过滤则可能丢弃可用数据。
常见问题解答
Ego2Robot到底是什么？ 它是一条流水线，通过将手部运动重新映射到机械臂上，将机器人合成到场景中，并使用视觉语言模型过滤输出，将第一人称人类操作视频转换为机器人训练片段。
这条流水线产生了多少训练数据？ 覆盖15种机器人形态的18,561小时合成片段，从多样的自我中心视频源生成——这是迄今报道的最大的自我中心到机器人数据集。
合成数据是否提升了真实机器人，而不仅是模拟？ 是的。在物理ARX ACone双臂机器人上，将合成Ego2R数据与每个任务20次遥操作演示混合，在所有五个任务上都优于仅用机器人的训练，增益最高达+14个百分点。
为什么15种机器人形态很重要？ 单一的人类视频语料库可以为多种机械臂预训练策略，而相机坐标系相对动作表示使来自不同机器人和相机的数据无需标定即可混合。
结论
Ego2Robot有力地证明了互联网上积累的人类操作视频是机器人学习可行且可扩展的燃料——合成数据与真实演示相辅相成，而非相互替代。解耦基准为领域提供了更精准的工具来评估合成数据的价值。未来方向是灵巧手和更逼真的渲染保真度。
如果人类视频能如此大规模地训练机器人，遥操作数据收集还有意义吗？