研究人员发布了ABC——一款完全开源的机器人行为克隆工具包，其中包含迄今为止最大的遥操作数据集ABC-130K，涵盖19.5万个操作任务中的13万个回合。该工具包大幅降低了可复现模仿学习研究的门槛，实现了诸如折叠纸箱、从钱包中取出信用卡等灵巧的真实世界技能。
目录
研究人员构建了什么
ABC（基于动作的克隆）工具包是一个完整的开源框架，用于通过行为克隆训练机器人操作策略。其核心是ABC-130K，一个大规模的遥操作数据集，包含超过3,500小时的人类演示操作，涵盖195项多样化任务——从精确的抓取放置到复杂的多步骤操作（如折叠纸箱和从紧钱包中滑出信用卡）。这是有史以来最大的开源遥操作数据集。
除了数据集外，研究团队还开源了整个流程：低成本、易获取的遥操作硬件设置、基于广泛使用框架（扩散变换器和视觉-语言-动作模型）的训练基础设施，以及模拟真实世界条件的仿真环境。他们还发布了400小时的模拟遥操作数据，以及一种联合训练方案，该方案将仿真结果与现实结果相关联，使研究人员能够在昂贵物理实验之前廉价迭代模型设计。
关键成果
训练后的策略成功在真实世界评估中执行了具有挑战性的灵巧任务。折叠纸箱——一项需要双手协调操作和精确折叠角度的任务——在基于ABC-130K训练后能够可靠执行。同样令人印象深刻的是，系统学会了从紧钱包中取出信用卡，这需要精细的力控制和精确的视觉伺服。
该项目最重要的贡献是经验性的：通过在相同训练条件下比较扩散变换器（DiT）和视觉-语言-动作（VLA）架构，研究人员为行为克隆中的架构选择建立了明确的指导方针。联合训练方案——使用真实与模拟数据的混合——产生的策略在仿真中的表现能强烈预测真实世界中的成功，从而无需无尽的硬件运行时间即可进行快速消融研究。虽然摘要中未披露具体成功率，但结果验证了ABC堆栈作为可复现模仿学习研究的可行平台。
工作原理
ABC使用标准行为克隆：策略通过模仿人类演示学习将观察图像和机器人状态映射到动作序列。ABC-130K数据集通过遥操作收集，使用开源、低成本的硬件装置，任何实验室都可以复制。13万个回合中的每个回合都捕捉了多视角RGB图像、关节位置和末端执行器力。
训练流程支持两种现代架构家族： - 扩散变换器 (DiT)：将动作生成视为对动作令牌的去噪扩散过程，条件于视觉和本体感知输入。 - 视觉-语言-动作模型 (VLA)：利用预训练的语言-视觉骨干（如CLIP）直接生成动作令牌。
一个关键创新是联合训练方案。研究团队在真实遥操作数据和400小时模拟遥操作数据（在逼真的仿真环境中收集）上共同训练策略。这种混合产生的模型，其仿真准确性与真实世界性能高度相关——这是一个关键特性，因为在仿真中评估比运行物理机器人便宜且快速1,000倍。研究人员现在可以在仿真中测试数十种架构和超参数选择，然后只将最有希望的候选部署到真实机器人上。
为何对机器人学意义重大
ABC消除了模仿学习研究的两个最大障碍：数据稀缺和基础设施成本。凭借一个包含13万个回合的完全开放数据集，任何实验室——即使没有昂贵的机器人集群——都可以开始训练最先进的操作策略。开放式硬件设计意味着可以以低于5,000美元的成本搭建一个装置，从而民主化遥操作数据收集。
对于商业机器人学，该工具包加速了从研究原型到可部署产品的路径。联合训练方案让公司（如销售二手协作机器人的公司）可以在仿真中测试策略改进，再冒险使用生产设备。架构洞见（DiT与VLA）帮助工程师选择合适的骨干，而无需代价高昂的试错。而400小时的模拟数据表明，高保真仿真器可以补充有限的真实演示——这对于扩展到新任务而无需无尽的人类遥操作至关重要。
从仓库物流到医疗机器人等行业都可以使用ABC来训练机器人进行精确操作。开源性质意味着社区共同改进该工具包，类似于ImageNet和PyTorch加速了计算机视觉。
局限性与开放问题
ABC-130K虽然庞大，但仅涵盖195项任务——仅占真实世界操作挑战的一小部分。涉及重物、纸板以外的可变形材料或动态障碍物环境的任务缺失。该数据集还使用了单一机器人平台，因此对不同手臂运动学的泛化能力尚未得到验证。
联合训练方案显示了仿真与现实之间的相关性，但并非完美迁移——一些仿真增益可能无法转移到物理机器人上。而行为克隆本身也有根本性限制：它无法从训练数据中未见过的状态中恢复，并且需要高质量的演示。该论文未探索强化学习或人在回路修正来处理分布偏移。最后，训练大型DiT或VLA模型的计算成本仍然很高，可能限制资金不足实验室的可及性。
常见问题
什么是ABC-130K？ ABC-130K是一个遥操作数据集，包含195项操作任务中的13万个回合，总计超过3,500小时的人类演示数据——是同类中最大的开源数据集。
哪些机器人可以使用ABC策略？ 该工具包专为开放式硬件计划中详述的特定低成本机器人手臂设计。策略可能通过微调迁移到其他手臂，但尚未经过测试。
使用ABC需要昂贵的硬件吗？ 不需要。遥操作装置成本低于5,000美元，仿真环境可在标准GPU工作站上运行。
ABC策略能执行哪些任务？ 已演示了灵巧操作任务，如折叠纸箱和取出信用卡。195项任务涵盖抓取放置、组装和精确工具使用。
结论
ABC工具包提供了一个完整、开放的行为克隆生态系统——从数据集到硬件再到训练代码。通过发布最大的遥操作数据集并提供仿真-现实相关性方案，研究人员为机器人学界扩展模仿学习提供了强大的基础。这是迈向民主化、可复现机器人学习的重要一步。
像ABC-130K这样的开源数据集能否最终弥合学术模仿学习与商业机器人部署之间的差距？