本文提出了一种面向工业灵巧操作的软硬件基准平台，包含三块定制设计的工业灵巧性基准（IDB）板，分别针对数据中心光纤交换机、汽车线束和行星齿轮箱装配。工作介绍了DAG-ROS（一个基于ROS2的模仿学习框架）和AG-iDP3（一种多模态扩散策略架构，融合RGB图像、点云、关节状态和腕部力矩输入）。报告了六种传感器配置下数据中心线缆操作板的实验结果。
引言
真实数据中心环境中，机架交换机排列密集，线缆间距亚毫米级，且布线角度尖锐。在此类环境中，即使常规维护如连接器清洁或线缆更换，也需要精细协调感知、规划与接触感知控制，才能在不干扰环境的前提下完成任务。
本工作源于使用经典计算机视觉与经典控制技术解决美国国家标准与技术研究院（NIST）装配任务板#4（ATB4）的努力。该方案在受控条件下有效，但脆弱且难以扩展，促使开发一种新的基准标准，以更好地模拟真实数据中心的变异性和挑战。
贡献与概述
列出三项关键贡献：
- 工业灵巧性基准（IDB）板，受NIST装配任务板系列启发，包含三块定制基准板，分别针对数据中心光纤交换机（IDB板#1）、汽车线束（IDB板#2）和行星齿轮箱装配（IDB板#3）
- DAG-ROS，一个基于ROS2的模仿学习框架，集成了遥操作、传感器与子组件集成、数据采集和实时机器人臂控制
- AG-iDP3，一种多模态扩散策略框架，使用基于PyTrees的行为树架构部署和链接，以RGB图像、点云、关节状态和机器人腕部力矩为输入，输出机器人动作
用于操作任务的扩散策略
AG-iDP3通过将机器人关节状态、RGB图像、3D点云和腕部力矩融合成统一的扩散策略，弥补了现有方法的不足。通过引入模态门控机制，该架构可以在训练过程中选择性地屏蔽传感器输入，从而在六种不同的传感器配置下进行消融研究。策略通过在IDB板#1上解决线缆清洁任务的真实演示进行训练。
工业灵巧性基准测试（IDB）
为了在工业相关任务上系统评估和开发端到端策略，我们设计了一系列面向不同工业操作挑战的基准平台。IDB项目包含三种基准板设计：（1）数据中心线缆操作，（2）汽车线束，和（3）齿轮箱装配。所有设计均遵循NIST装配任务板理念，可通过3D打印、激光切割和现成硬件轻松制造，总成本在数百美元内。本文报告的结果仅针对数据中心线缆操作板；其余两种设计作为完整性描述。
设计2：汽车线束（IDB板#2）
该基准包含八个连接器（两个6针，六个2针），分布在不同的高度、方向和遮挡程度。2针连接器配备LED灯，成功电气连接时点亮，提供明确的通过/失败反馈。封闭区域内的插座有多个安装位置，允许用户使用同一块板改变难度级别。高级布线选项要求将线缆穿过墙壁上的狭窄切口，进一步考验空间意识和机器人双手协调能力。
评分评估连接成功（八个连接器，LED验证）和线缆布线合规性（线缆是否通过指定的布线夹）。不设时间限制，也不对重试进行扣分，从而清晰区分能力与速度。
设计3：齿轮箱装配（IDB板#3）
成功装配齿轮箱的正确顺序如下：
- 将环形框架用四颗8毫米长的M3螺丝安装到步进电机上
- 将太阳齿轮插入电机轴（D形键槽对齐）
- 安装三个行星齿轮，确保与太阳齿轮和环形框架同时啮合
- 用五颗12毫米长的M3螺丝固定端盖
评分根据放置和紧固的子任务计分。以下标准各得一分：
- 所有螺栓拧紧至无法用手转动
- 所有行星齿轮正确啮合
- 完成后行星架组件能自由旋转
行为树架构
根节点的三个子节点是并行节点（多个子节点同时运行），每个并行节点包含一个策略节点和一个评估器节点，它们同时运行。评估器是必需的，因为AI策略不会自行终止——连续的推理会无限生成新的动作块。当评估器返回成功时，会在父并行节点返回成功之前向策略节点发送停止请求。
- 抓取 — AI策略定位并抓取机架上的连接器。评估器检测到夹爪位置低于闭合阈值并持续预设时间。
- 清洁 — AI策略将连接器面在清洁垫上擦拭。评估器检测到接触力矩幅值超过阈值并持续预设时间。
- 插入 — AI策略将连接器与插座对齐，插入后打开夹爪。评估器检测到夹爪位置高于打开阈值并持续预设时间。
这种混合架构将用于灵巧操作的习得策略与用于可靠安全运动的经典运动原语相结合，形成了一个平衡适应性与可靠性的系统，在适当的地方应用适当的方法。
关键发现
实验的主要结论包括：
- 只要策略具有3D上下文（通过点云或两台提供不同视角的RGB相机），抓取阶段表现良好，在包含3D上下文的五种配置中成功率在88%到98%之间。仅在单一RGB配置（完全去除3D上下文）中，抓取成功率降至48%。
- 除纯RGB基线外，插入阶段是区分总得分的关键。在配置1-5中，插入得分变化达48个百分点，而抓取成功仅变化10个百分点。
- 最佳总得分（78%）由多视图RGB配置（腕部RGB + 场景RGB）配合R3M实现，该组合结合了腕部RGB的强抓取能力和高分辨率场景上下文以实现精细对齐。
- 在场景相机的直接对比中，EVAL-ADTF3175 ToF比RealSense D435i高出7个百分点，表明间接ToF更适应工业数据中心条件。
- 所有四种多模态扩展均优于单一RGB相机DP基线（总得分36%），而基于自我视角点云的iDP3（总得分52%）复现了自我视角点云策略优于自我视角RGB策略的发现。
- 线缆清洁基准任务的三个阶段（抓取、清洁、插入）各自需要约100次演示来训练在所有消融设置中表现良好的策略。在此演示数量下，AG-iDP3训练的策略适用于现场数据收集和在任务或硬件配置变化时重新训练。
附加考虑
点云分辨率与工业鲁棒性。 两款点云场景相机的分辨率（在PointNet编码器中进一步下采样）不足以解析紧配合插入所需的插座特征。这可能是双RGB配置优于两套RGB-腕部+PC-场景配置的原因。在工业环境中，光照不恒定、设备随使用变色、空气中存在颗粒物，ToF传感可能比被动立体视觉提供更可靠的输出，即使实验配置偏向双RGB。
评分理由。 实验前确定了评分规则。将抓取和插入成功相加（排除始终成功的清洁）反映了操作现实：没有成功的抓取，插入就无从谈起；如果机器人成功抓取并清洁但插入失败，任务部分完成。
对纯RGB基线逐阶段比较的说明。 与纯RGB-腕部配置的逐阶段比较需谨慎解读。端口2和3在两个阶段的成功率均高于端口1和4。由于纯RGB配置的低抓取成功率过滤了大部分插入尝试，因此该配置的插入成功率与大多数试验中成功抓取的配置不具有直接可比性。
鲁棒性观察
习得策略对小的视觉场景变化表现脆弱。观察到两种典型失败模式：（i）移除训练时存在的背景物体（红色聚合物块）导致策略失败；（ii）改变沿机器人臂的线缆布线方式（松散vs.捆绑）同样导致失败。通过训练和部署裁剪图像（仅将受控任务区域输入策略）以及采用滑轮式线缆管理（使线缆无论臂路径如何都回到相同位置），这些问题得到缓解。虽然这些特定于任务的方法恢复了可靠行为，但根本的鲁棒性问题依然存在：视觉编码器似乎更多地关注无关的场景特征，而非与任务相关的特征。
未来方向
正在进行的研究聚焦于三个方向：
算法改进包括针对点云、深度和灰度输入的更丰富预训练编码器（如DINOv3、DiT），多任务或语义编码，动态输入分辨率，动态预测范围，笛卡尔空间动作模型，以及结合高速率反应控制器与低速率规划器的快-慢策略。鲁棒性和数据缩放可通过域随机化、基于仿真的训练与数据增强以及强化学习微调来解决。
传感与平台扩展包括ADI Tembin腕部ToF传感器与D405的直接对比；用于低延迟运动提示的事件相机；用于局部接触和滑移检测的触觉传感；ADI六自由度力矩传感器与FR3关节力矩导出值的对比；用于布线、夹具固定和传递的多臂双手协调；用于手内重定向的灵巧多指手；以及用于更丰富接触丰富演示的触觉遥操作设备。
计算与部署改进针对更快推理、更高动作频率、更低延迟和更好能效。这些目标可通过从RTX级工作站迁移到边缘部署（如神经处理单元NPU和模拟神经网络加速器）来实现。
常见问题
构建IDB板需要哪些硬件？ IDB板设计为易于制造，使用3D打印、激光切割和现成硬件，总成本在数百美元内。
训练AG-iDP3策略需要多少演示？ 线缆清洁任务的每个阶段（抓取、清洁、插入）各自需要约100次演示来训练在所有消融配置中表现良好的策略。
哪种传感器配置取得了最佳效果？ 多视图RGB配置（腕部RGB相机 + 场景RGB相机）配合R3M取得了78%的最佳总得分，结合了强抓取能力与高分辨率场景上下文。
为什么习得策略有时在新环境中失败？ 视觉编码器倾向于关注无关的场景特征而非任务相关特征，导致当背景物体移动或线缆布线改变时失败。