变分自动化(VA)任务在长时间重复执行时,假设工作单元环境、机器人和传感器已知且固定。此外,潜在物体的范围和初始物体位姿的范围也是已知的。这些假设是VA设定的一部分,而非先知信息:与通用机器人不同,VA任务由已知的工作单元和有界操作范围定义,允许系统在可用时使用对象模型、校准传感器和可重复使用的自动化技能。
问题形式化
对于将在长时间内重复执行的变分自动化任务,工作单元环境、机器人和传感器已知且固定。潜在物体的范围和初始物体位姿的范围也是已知的。这些假设是VA设定的一部分,而非先知信息:与通用机器人不同,VA任务由已知的工作单元和有界操作范围定义,允许系统在可用时使用对象模型、校准传感器和可重复使用的自动化技能。
仿真和真实世界变分自动化基准测试
我们提出了8个VA基准任务,包括4个仿真任务和4个真实世界任务。其中6个受LIBERO启发,LIBERO是评估仿真中VLA策略的事实标准。
基准 (II-a,b):包装杂货物品(仿真和真实)
我们将基准I-a,b修改为多物体抓取放置任务,类似杂货结账线,机器人被分配将6个物体放入容器中,无需识别或选择特定物品。我们将成功率量化为6次抓取尝试后放入篮子中的物品数量(最多6个)。
基准 (III-a,b):制作爆米花(仿真和真实)
我们使用LIBERO的平底锅、炉灶和旋钮资产创建一个操作任务,要求机器人依次打开炉灶、拿起锅柄、将锅放在炉灶上、移开锅并关闭炉灶。在真实版本中,我们使用带腕部摄像头的Franka机器人臂、亚马逊便携式炉灶和Jiffy-Pop爆米花。

基准 (IV):插入电缆(真实)
该基准任务要求UR5机器人臂配合ZED Mini腕部摄像头在一个6插座的排座上执行一系列USB-C电缆插入和拔出。当目标端口超出摄像头视野时,机器人使用内部力/力矩反馈进行试探性插入。基准包括两个变化条件。首先,我们改变电缆端口的位姿,测试距离3种,每次增量5毫米;角度3种,每次增量15度。其次,我们改变文本提示以指定五个不同目标:定位单个端口、按升序插入、按降序插入、插入奇数索引端口和插入偶数索引端口。
基线方法
对于GaP和CaP-X,我们使用Gemini-3.1-Flash-Lite作为LLM代理,VLM温度为0.1。在基准I和II中,GaP不进行自我学习,因为生成的第一个图已实现高性能。
基准III A, B:仿真和真实制作爆米花
制作爆米花任务要求机器人抓取炉灶旋钮并旋转以打开燃烧器,然后机器人必须找到并拿起JiffyPop爆米花锅的把手,将其放在炉灶燃烧器上,等待,然后关闭炉灶。
GaP使用GraspGen、旋钮旋转技能以及来自基准1和2的其他物体定位和抓取技能生成图。初始图能够打开和关闭旋钮,但无法正确抓取和放置锅——仅达到33%的成功率。
最终策略在仿真中达到94%的成功率,锅的位置和方向均有变化;在真实物理试验中达到90%(18/20)的成功率。两次物理失败分别由线性笛卡尔运动中的一次逆运动学(IK)错误和累积运动学误差导致的一次错误抓取引起。
基准V:清洗板条箱(仿真)
我们将GaP与专家手动编制的执行图进行比较,代表了此类环境中传统的工程工作量。我们在位姿分布上采样150次试验运行两种策略,并额外在3小时连续执行窗口内测量持续吞吐量。

结论
代理型机器人学有望利用快速发展的LLM模型,在传统工程(GOFE)和无模型VLA策略之间搭建桥梁。如消融实验所示,GaP的图结构代理型机器人学促进了模块化、多智能体集成和自我学习。随着机器人应用变得更加复杂和技能库的增长,需要更复杂的代理协调手段。
局限性。 尽管实验中GaP相对于基线显著提高了成功率,但执行可靠性尚未达到工业水平,需要额外的自我学习和参数调整。同样,GaP的执行时间仍远低于每小时500件(每实例7秒)的工业标准;需要更多工作来减少执行期间VLM推理请求和IK运动规划时间。此外,8个VA基准集中在准静态拾取放置操作——只有电缆插入(IV)需要力感知。需要更多工作将GaP应用于涉及可变形物体、动态力和移动目标的任务。
常见问题
GaP如何处理初始策略图失败的任务? GaP通过自我学习,利用演练和重试迭代改进图,从而实现比初始策略显著更高的成功率。
评估GaP性能使用了哪些基准? 使用了8个VA基准任务,包括4个仿真和4个真实世界任务,涵盖包装杂货、制作爆米花、插入电缆和清洗板条箱。
真实世界实验中使用了哪些硬件? 真实世界实验中,爆米花任务使用带腕部摄像头的Franka机器人臂,电缆插入任务使用带ZED Mini腕部摄像头的UR5机器人臂。
GaP当前形式的主要局限性是什么? 执行可靠性尚未达到工业水平,执行时间低于工业吞吐量标准,系统主要专注于准静态操作而非可变形物体或动态力。
