一个可扩展的社区驱动数据引擎,用于可扩展机器人操作

一个可扩展的社区驱动数据引擎,用于可扩展机器人操作

Mengfei Zhao, Dihong Huang, Yikai Tang, Peihao Li, Mingxuan Yan +10 位

1 分钟阅读•2026年7月24日

我们提出AXIS,一个基于Web的、社区驱动的基础设施,用于通过基于浏览器的MuJoCo-WASM远程操作和自动任务生成进行可扩展的操作数据收集。我们构建了一个可增长的操作数据集,包含207个任务、超过5万条轨迹,以及一个统一的数据处理流程,包括轨迹标准化、成功验证、质量过滤、时间平滑、重采样、基于IsaacSim的视觉和物理增强,以及版本化的任务快照。我们引入了一个系统性的评估协议,用于研究策略学习和同实体数据集的扩展,包括使用固定保留评估套件下的AXIS-25%/50%/100%数据集快照进行标准化基准比较和受控扩展实验。

可扩展的机器人数据收集

用于演示收集的基于浏览器的MuJoCo-WASM远程操作界面

数据集层通过验证、过滤、细化和增强,将原始社区演示转换为训练可用的机器人轨迹。由于演示来自人类操作员而非脚本控制器,因此生成的数据在接近方向、抓取时机、修正行为和执行风格上具有行为多样性。

完成的演示被序列化为统一的轨迹格式。每条轨迹包含任务元数据、机器人实体、环境标识符、模拟器版本、时间戳、观察值、机器人状态、动作和成功信息。可选字段包括物体状态、摄像头流、分割标记和失败标签(如果可用)。这种格式使得演示可重放、可过滤,并与下游策略学习兼容。

AXIS Franka数据集

验证与细化。为确保数据质量,所有演示都经过标准化验证流程,检查轨迹完整性、任务成功性和物理一致性。有效的轨迹随后经过平滑和重采样,统一控制频率,提高时间一致性并减少远程操作噪声。细化过程在保持高重放成功率的同时,显著降低了加速度和急动度。更多实现细节见附录。

数据增强。为提高多样性和鲁棒性,AXIS通过空间和视觉随机化进行增强。这些增强生成额外的有效场景配置,同时保留任务语义和成功条件。生成的变体包括物体布局、视角、纹理、光照和背景的变化,将数据集扩展到超过6万种场景变体。这种多样性使AXIS在研究环境变化下的鲁棒性和泛化能力方面特别有用。

增强场景变体,展示不同的物体布局、纹理和光照条件

基准测试支持两种互补的评估模式。首先,AXIS能够在代表性策略系列之间进行直接比较,包括传统的视觉运动模仿学习方法和视觉-语言-动作策略。其次,AXIS支持同实体扩展研究,策略在AXIS-25%、AXIS-50%、AXIS-100%和未来更大的快照上训练,以衡量额外的任务覆盖是否改善了保留操作任务的泛化能力。这些特性共同使AXIS不仅作为大规模操作数据集,而且作为研究可扩展机器人学习和数据驱动泛化的长期基准。

实验设置

AXIS数据集。AXIS训练语料通过基于浏览器的MuJoCo-WASM远程操作前端收集,并以统一的AXIS轨迹格式存储。机器人实体为Franka Research 3机械臂,配备平行夹爪;任务涵盖桌面操作行为,包括抓取放置、堆叠排序、铰接物体交互、推、倒和工具使用类操作。原始演示经过AXIS处理流程(成功验证、静态段移除、Savitzky-Golay平滑、固定频率重采样),然后在IsaacSim中在随机视觉和物理条件下重放。我们使用AXIS-100%快照作为最大的连续预训练池,并在任务级别均匀无放回抽样,构建用于扩展实验的25%和50%子集。

评估协议。所有策略在LIBERO-Plus鲁棒性套件上进行评估,该套件在七个轴(相机、光照、传感器噪声、背景、布局、语言、机器人)上扩展LIBERO。对于每个(任务、扰动轴)对,我们将展开预算固定为跨条件的恒定展开次数,并报告平均成功率。作为分布内合理性检查,我们还在AXIS-100%的保留任务分割上报告成功率;这确认了AXIS连续预训练不会破坏性地使策略偏离AXIS任务分布。

讨论

为什么可增长数据集重要。静态数据集对基准测试有价值,但机器人操作学习也能从能够随模型能力和观察到的失败而增长的数据源中受益。AXIS将数据收集转化为迭代反馈循环:我们的任务生成模块通过新的操作问题扩展语义多样性,社区远程操作通过多样的人类策略和修正增加行为多样性,视觉和物理增强通过外观、场景配置和动态变化扩展环境多样性。从这个意义上说,数据集增长成为提高策略鲁棒性的机制,而不是一次性发布过程。

社区收集与数据质量。社区驱动的收集提高了规模和可访问性,但也引入了操作员技能、运动平滑度、策略和任务完成质量的显著变化。有用的变化使策略暴露于多样的抓取、恢复和修正模式,而有害的变化表现为损坏状态、空闲段、失败轨迹、不连续性或不稳定动作。AXIS通过将验证、清理、平滑、重放和增强作为数据集构建的核心阶段,解决了这一权衡,将广泛参与与下游策略学习所需的质量控制统一起来。

结论

我们提出了AXIS,一个可增长的社区驱动数据引擎和基准,用于可扩展的机器人操作学习。AXIS结合了基于浏览器的MuJoCo-WASM远程操作、自动任务生成、分布式演示收集、标准化轨迹处理、基于IsaacSim的增强和固定协议评估。它构建了一个可通过新任务、演示和增强条件扩展的训练就绪数据集,同时能够在视觉-语言-动作策略之间进行受控比较。更广泛地说,AXIS指向了持续可扩展的机器人数据流程,连接任务生成、社区收集、策略训练和失败驱动改进。

局限性与未来工作。AXIS目前专注于模拟Franka桌面操作,从模拟到现实的迁移仍是一个未解决的挑战。未来工作将扩展AXIS以包含更多机器人实体、更丰富的感知模态、更长跨度的任务、更精细的注释以及主动的失败驱动数据收集,以支持更通用和可扩展的机器人学习。

常见问题

什么是AXIS数据引擎,它如何实现可扩展的机器人操作数据收集? AXIS是一个基于Web的、社区驱动的基础设施,使用基于浏览器的MuJoCo-WASM远程操作和自动任务生成,从超过7万名社区成员收集可扩展的操作数据。

尽管数据来自不同的人类操作员,AXIS如何确保数据质量? 系统应用标准化的验证流程,检查轨迹完整性、任务成功性和物理一致性,然后通过平滑、重采样和数据增强来解决操作员技能和运动平滑度的变化。

AXIS Franka数据集涵盖哪些机器人任务和实体? 数据集专注于Franka Research 3机械臂,配备平行夹爪,涵盖207个桌面操作任务,包括抓取放置、堆叠、排序、铰接物体交互、推、倒和工具使用类行为。

AXIS基准测试如何设计用于评估策略学习和扩展? 基准测试支持跨策略系列的直接比较以及使用AXIS-25%、50%和100%快照的同实体扩展研究,并在LIBERO-Plus鲁棒性套件上评估,覆盖七个扰动轴。