具身操作的数据生态系统正经历结构性变革，从针对特定机器人的数据集转向多源、跨本体的资源。本文提出具身操作的数据金字塔，这是一个统一框架，将来自三类互补来源——真实机器人、人类示范和仿真——的数据进行分类，并审视定义每一层次的流程、表示和权衡。
本体与模态
这些差异不仅影响学习问题的维度，也影响数据在平台间共享的程度。关节空间表示为灵巧手提供直接且精确的控制，但与机器人形态紧密相关。相比之下，末端执行器中心表示可以为跨本体的手臂运动提供更具迁移性的接口，尽管它们仍然需要一致的坐标系和控制约定。在策略学习中，本体感知状态和动作通常会被归一化，以保持适当的数值尺度并促进跨本体学习。常见选择包括MinMax、Q01-Q99和MeanStd归一化。
数据收集范式
脚本化收集泛指机器人行为在没有持续人类控制下执行的数据生成过程。不是手动控制每个回合，人力转向设计任务逻辑、控制流程和执行条件。这种系统设计与回合级执行的分离使得能够以较低的边际成本进行重复和并行的数据收集。根据机器人动作的产生方式，脚本化收集可大致分为基于规则执行、轨迹回放和自主策略部署。
真实机器人数据的优势与局限
真实机器人数据通过直接捕捉机器人观察、动作及其物理后果之间的关系，提供物理基础的监督。与仿真或人类视频相比，它们自然反映真实的感知噪声、控制延迟、接触动力学和硬件约束。此外，记录的动作可直接在相应平台上执行，使得此类数据对学习可靠的操作策略和恢复行为特别有价值。
主要局限是收集成本高。真实机器人数据需要物理硬件、人工操作或自动化收集流程、重复的环境重置、维护以及安全监督，这限制了大规模并行数据采集。此外，许多数据集仍集中在特定机器人、任务和环境上。本体、传感器配置、坐标系和动作表示的差异进一步复杂化了数据聚合和跨平台迁移。
通用操作接口（UMI）数据概览
通用操作接口（UMI）数据指通过便携式、机器人无关的接口收集的一类真实世界操作数据集，而非直接操作目标机器人。典型的UMI系统集成了一个或多个相机、手持夹爪或灵巧接口以及姿态跟踪模块，记录视觉观察、末端执行器运动、夹爪状态，以及在部分近期系统中的力或触觉信号。这些示范随后可通过校准、动作转换和针对本体的重定向转换为机器人兼容的轨迹。
UMI数据收集流程
UMI风格系统产生的数据在本体、感知模态和规模上也日益多样化。早期UMI数据集主要关注使用平行夹爪和腕部RGB观察的单臂操作。后续工作将此范式扩展到移动操作器和全身人形系统，如UMI on Legs和HuMI，以及双臂操作和灵巧手。
跨本体部署
跨本体部署旨在将从无机器人UMI示范中习得的策略迁移到具有不同运动学结构和感知配置的机器人上。关键思想是将与本体无关的任务表示与特定本体的执行分离开。UMI风格策略不是在预测与特定机器人相关的关节空间命令，而是在末端执行器中心动作空间中操作，通常产生相对的六自由度轨迹和夹爪命令。部署时，预测的相对轨迹与机器人当前末端执行器姿态组合，并转换到机器人基座坐标系。生成的目标姿态随后通过逆运动学、运动规划或低级笛卡尔控制器转换为可执行的关节命令。
UMI数据的优势与局限
UMI数据的主要优势在于可扩展性、环境多样性以及减少对特定机器人本体的依赖。特别是，其便携且无机器人的收集设置使得能够在多样化日常环境中进行野外数据采集。人类操作员可以在多种真实世界场景中收集流畅自然的操作示范，而末端执行器中心动作表示促进了在不同机器人平台上的复用。最近引入双臂运动、灵巧手和触觉感知的扩展进一步拓宽了UMI风格系统捕获的行为范围。
然而，UMI数据并未完全消除本体差距。相机视角、末端执行器几何、运动学约束、动力学和接触条件的差异可能导致示范与机器人执行之间的差异。其质量也依赖于准确的姿态跟踪和传感器同步，这在遮挡、快速运动或视觉挑战性环境中可能下降。此外，UMI通常缺乏机器人特定的本体感知和驱动器动力学。因此，它最好被视为针对特定本体的真实机器人数据的可扩展补充，而非完全替代。
人类示范数据的采集基础设施
自我中心和外中心采集系统结合了可穿戴和环境设备，用于测量外观、几何、运动、注意力和物理交互。我们按照观察的物理量对硬件进行组织：视觉传感器记录图像和深度流，运动跟踪系统测量设备或身体运动学，辅助传感器暴露注意力、肌肉激活和接触。在这些类别中，主要权衡涉及空间覆盖、时间分辨率、移动性、侵入性、精度和校准要求。
可穿戴相机。 单目RGB捕获使用单个彩色相机，通常安装在头部或胸部，近似佩戴者的视觉流。此类相机轻便、便宜，适合长时间采集，如EPIC-KITCHENS和Ego4D所示；然而，它们不直接测量度量深度，快速头部运动可能引入模糊，而手部可能遮挡操作对象。
事件相机采用不同方法：不是以固定速率生成常规帧，而是每个像素异步报告亮度变化。其高时间分辨率减少了快速手部运动时的运动模糊，但产生需要专门处理的稀疏数据；EgoEV-HandPose利用立体事件相机探索了这一设置。
外中心相机系统。 外中心系统在环境中放置一台或多台相机，从固定第三人称视角观察佩戴者。它们揭示了可能被遮挡或超出可穿戴相机视野的身体、手部和场景上下文，且同步视图支持三角测量和多视角重建。Assembly101结合可穿戴和外部相机进行细粒度装配活动，而Ego-Exo4D将Project Aria眼镜与多个周围GoPro相机配对。额外的覆盖以环境设置、跨相机校准和同步、更高存储需求以及降低的采集移动性为代价。
人类数据的监督构建
自我中心监督可通过传感器记录、人工标注或后处理恢复。我们根据暴露给学习的信息将其分为四类互补类别：语义监督描述任务内容和结构；几何监督描述空间状态和运动；多模态监督提供超出RGB的注意力、动力学和接触线索；面向机器人的监督以适用于机器人策略学习的形式表达人类示范。它们的构建结合了标注、校准、同步、重建和跨本体对齐，具有不同的成本和误差来源。
过程和状态标注。 过程标注描述单个动作如何组成任务。它们包括有序步骤、任务进度、执行错误以及对象或环境状态变化，通常通过将视频与任务脚本对齐并验证与预期过程的偏差来构建。Assembly101在装配过程中组织细粒度动作，而CaptainCook4D标注烹饪步骤及错误和对象状态。这种监督暴露了孤立的动作标签所遗漏的长时程依赖和任务结果，尽管其词汇通常特定于某个过程或领域。
人类示范数据的优势与局限
自我中心和外中心数据以规模捕获自然的人类示范，无需在目标机器人上执行。可穿戴系统可部署于不同参与者、环境、对象和任务，而第一人称观察强调手部-对象交互和长时程活动结构。与固定基座机器人收集不同，人类操作员可以自由移动并通过灵巧手直接操作对象。这种移动性实现了更广泛的空间覆盖和更多样的手部轨迹，包括接近方向、运动路径和交互高度的变化。EgoVerse示例说明了这一潜力：其人类手部交互关键帧跨越了广泛的三维工作空间并展现出显著的空间变化。
然而，自我中心数据并不等同于机器人经验。第一人称记录存在部分可观测性、手部-对象遮挡、快速相机运动、运动模糊和设备依赖的视角问题。密集的几何和多模态监督需要额外的硬件、校准、同步和重建，并且在大规模上并不均匀可得。更根本的是，人类记录缺乏机器人的本体感知、驱动器动力学和直接可执行的动作。形态、运动学、感知和接触响应的差异进一步阻止了直接的轨迹迁移。因此，它们在机器人学习中的使用需要可靠的状态重建、本体感知表示以及人-机器人对齐或重定向。
仿真基础设施与资产生态系统
模拟的机器人学习生态系统可视为三个耦合基础设施组件的组合：本体-传感器系统、对象和场景资产，以及物理和渲染后端。本体-传感器系统不仅定义机器人形态、运动学、驱动模型和控制器接口，还定义与机器人身体物理关联的感知通道，如本体感知、腕部或头部视觉、力传感和触觉阵列。对象和场景资产提供环境的几何、语义和功能结构，而物理和渲染后端决定生成数据的接触动力学、视觉外观和执行保真度。
构建模拟操作数据首先需要将本体-传感器系统导入仿真器，其中机器人资产被实例化为可控的铰接模型，其传感器配置为在交互期间获取观察。仿真器解析机器人描述（如URDF、MJCF、SDF或USD）以指定运动学、关节限制、惯性属性、碰撞和视觉几何、驱动器以及传感器附件，然后将系统放置在具有定义初始姿态、关节状态、对象、光照、重力和求解器设置的场景中。
基准与仿真数据集
表5总结了大规模合成和仿真数据资源，涉及数据量、任务覆盖、本体多样性和支持的操作设置。这些资源范围从任务级操作轨迹到大规模抓取和灵巧手样本。近期数据集越来越多地包含多个本体和更大的数据量，包括数十万或数百万条轨迹，而对于以抓取为中心的资源，则是更大规模的生成样本集合。然而，大多数数据集仍集中在刚性或铰接对象的操作上，对可变形交互和移动操作的覆盖相对有限。
仿真到现实的差距
仿真到现实的迁移一直是基于仿真机器人数据的核心问题，因为合成轨迹预期支持真实机器人部署，而不仅仅是仿真器内学习。从数据中心的视角看，这一差距主要源于观察不匹配和交互不匹配。
第一个涉及渲染的感知观察与真实机器人感知之间的差异。尽管最近的仿真数据集通过3D资产、光照、相机模型、铰接对象和多模态传感器提高了真实性，但其观察在纹理、光照、材料外观、深度噪声、相机校准、遮挡、触觉响应和力信号方面仍可能与真实数据不同。
仿真数据的优势与局限
仿真数据通过生成可控制虚拟环境中的机器人观察、动作和任务结果，提供可扩展的监督。与真实机器人数据相比，它们可以以较低的边际成本、大量并行化、有限的安全风险和无需硬件磨损的方式收集。仿真器还提供难以从真实系统中获得的特权标签，如对象姿态、分割掩码、接触状态、物理参数、成功信号和密集奖励。这些特性使得仿真对于大规模策略预训练、受控评估、场景和任务随机化以及多样化交互轨迹的合成非常有用。
仿真的主要局限是物理保真度有限。在感知、驱动、接触和对象动力学方面的近似可能产生显著的仿真到现实差异，特别是对于接触丰富的操作、可变形对象、反射材料、液体和长时程任务。此外，规模不一定意味着多样性：如InternData-A1所示，受技能约束的生成可以产生许多轨迹，但任务变化有限。
常见问题
什么是具身操作的数据金字塔？ 它是一个统一框架，将操作数据分为三类互补来源——真实机器人、人类示范和仿真——并审视定义每一层次的流程、表示和权衡。
通用操作接口（UMI）数据如何实现跨本体部署？ UMI数据使用末端执行器中心动作表示，将不依赖于本体的任务信息与机器人特定的执行分离，从而允许通过校准和重定向将策略迁移到不同的机器人平台。
使用自我中心人类视频进行机器人学习的主要局限是什么？ 人类记录缺乏机器人的本体感知、驱动器动力学和直接可执行的动作，而形态、运动学和感知的差异阻止了直接的轨迹迁移，需要可靠的状态重建和人-机器人对齐。
尽管存在仿真到现实差距，仿真数据为何仍有价值？ 仿真支持可扩展的并行数据收集，并提供对象姿态和接触状态等特权标签，同时允许安全、受控的评估和任务随机化，使其对策略预训练有价值，尽管物理保真度仍是一个挑战。