机器人能根据指令画出新物体吗?BURGER 测试 VLA 泛化能力

机器人能根据指令画出新物体吗?BURGER 测试 VLA 泛化能力

Xiangyu Xu, Bangshuai Peng, Ziyi Liu, Mengjie Zhao, Chenhao Lu +3 位

1 分钟阅读•2026年11月1日

BURGER 将机器人绘画变成了对视觉-语言-动作(VLA)系统的压力测试:机器人能否把一条指令转化为连贯的笔画序列,并在画布发生变化时作出调整?该基准将 28,200 条生成的示范与模拟测试和真实机械臂测试结合起来。结果显示,当前模型能够遵循熟悉类别的指令,也能响应人类修改,但绘制训练词汇之外的概念仍有困难。

目录

研究人员构建了什么?

BURGER 是一个基准和数据集,用于测试机器人能否遵循语言指令进行绘画。绘画看起来比许多操作任务简单,但它仍要求机器人把词语与物体联系起来、规划一系列动作,并跟踪自己已经在画布上画了什么。这些要求也会出现在组装物品,或根据口头指示操作物体等任务中。

研究人员围绕 Quick, Draw! 中的草图构建了一套可扩展的数据采集流程。Quick, Draw! 是一个包含 345 个物体类别的数据集。他们选取了其中 132 个被认为在现实世界中常见、且适合机械臂绘制的类别。该基准还包括 150 个以空间关系描述的双物体任务:100 个使用左右排列,50 个使用“上方”和“下方”等垂直关系。每个任务类别包含 100 条轨迹,数据集总计有 28,200 条轨迹。

BURGER 还包含真实机器人数据和实验。其实物测试平台使用一台 Franka Panda 机械臂和两台摄像机观察绘画表面。一个小型真实机器人数据集涵盖 10 个物体类别,每个类别有 10 条示范。这使研究人员能够测试在模拟环境中开发的训练和评估方法是否能支持实体机器人的绘画任务。

真实绘画实验所用的 Franka Panda 机械臂和摄像机设置

主要结果是什么?

BURGER 分别测试多种能力:遵循物体名称、理解空间关系、复现不同但有效的绘画风格、随数据量增加而提升,以及响应画布上的变化。研究结果显示,VLA 模型能够区分测试类别中熟悉物体的指令。但即使将提示改为训练类别之外的物体名称,机器人也不会因此画出这个未见过的概念。在这一设置中,语言指令遵循能力仅适用于已学习的类别,并不等同于开放式的物体认知。

同一种绘画也可能有多种有效画法。例如,自行车可以用不同的形状或笔画顺序绘制,同时仍清晰可辨。该基准纳入了这种变化,并展示了策略能够为同一任务复现多条有效轨迹的实例,包括真实机器人示范。

实体机器人测试展示了闭环交互——利用新的视觉观察来决定下一步行动。给机器人一只只画了一部分的杯子时,它会补上缺失的把手。另一个例子中,有人添上自行车的后轮;机器人观察更新后的画布,避免重复绘制这一部分,然后继续作画。这些例子展示了有用的行为,但论文所报告的文字并未提供总体成功率,也没有对不同模型系列进行数值比较。因此,最好将这些证据视为一组诊断性发现,而不是某个模型以可量化的优势胜出的结论。

BURGER 如何运作?

一项 BURGER 任务将语言指令与当前绘画画布的视图结合起来。在训练期间,每个样本还包含机器人的内部位置数据和一条专家动作指令:这条指令描述末端执行器——机械臂末端的工具尖端——应如何移动。系统需要学习将提示和视觉状态与这些动作联系起来。

训练轨迹由一套绘画流程生成:该流程先将草图指令转换为路径,再将这些路径重放为机器人动作。在评估时,策略接收指令、画布图像和机器人状态,并输出一个动作或一小段动作序列。它还必须学会何时停止:当工具抬升到设定高度以上时,一个回合便结束。因此,终止本身也是任务的一部分,而不是在固定数量的笔画完成后自动发生的步骤。

该基准评估的不只是最终图像看起来是否大致像指定物体。笔画顺序和几何形状都很重要,而且不同路径可能都有效。通用的图像—文本相似度分数可能会漏掉细微但重要的绘画错误,因此 BURGER 还会检查完整轨迹,并使用针对任务设计的评估指标。这样就能检查策略是如何绘制的,而不仅仅是成品看起来像什么。

在实体测试中,两台 Intel RealSense 摄像机从不同方向拍摄工作区域。深度信息有助于区分机械臂与笔画;来自两个视角的观察会先进行融合,再传递给策略。如果有人进入工作区域,系统便暂停;等此人修改绘画并离开后,机器人会处理更新后的画布并继续作业。

机器人绘画轨迹叠加图,展示路径和笔画顺序的变化

这对机器人技术为何重要?

遵循书面指令的机器人不能只识别词语。它必须将词语与所看到的内容对应起来,规划一段较长的动作,监控进展,并在环境发生变化时作出应对。BURGER 将这些能力放在一个结果易于检查、不同有效动作也可以相互比较的场景中进行测试。这有助于工程师判断失败究竟源于不熟悉的语言、遗漏了空间关系、动作规划不佳,还是没有注意到人类的修改。

该基准中的绘画任务不能直接替代仓库拣选或工厂装配测试。它的价值在于以可控的方式探查这些应用同样需要的能力。例如,仓库机器人可能需要理解“把小箱子放在大箱子旁边”,然后在工作人员移动物品时进行调整。BURGER 为研究人员提供了一种研究相关语言与动作行为的方法,同时避免了更重型操作任务中涉及的众多物理变量。

对于买家和运营团队而言,这些结果提醒我们:在熟悉指令上表现出色,并不意味着机器人就能可靠地处理陌生物体或情境。比较系统时,团队应了解机器人在新组合任务上的表现、执行过程中是否会观察变化,以及如何衡量失败。正在探索实体平台的用户可以浏览在售二手机器人,同时将评估需求纳入考量。

有哪些局限和未解问题?

BURGER 关注的是使用工具进行草图级绘画,而不是绘画所涉及的更丰富的接触和材料行为。笔刷压力、墨水流动以及与不同表面的相互作用都不在这一设置的范围内,因此不应将这些结果视为机器人能够更广泛地处理艺术媒介的证据。

数据生成流程也会影响模型学到的内容。用于选择笔画顺序的规则可以生成一致的轨迹,但这些约定可能不同于人们自然的绘画方式。如果样本都基于相同假设,那么扩大数据集并不会自动消除这种偏差。

仍有一些问题有待研究,例如这些结果能否迁移到陌生的工作空间、不同工具和更长的任务中。所述真实机器人数据集仅涵盖 10 个物体类别,每类有 10 条示范;论文报告的实例也无法证明该方法在这些条件下具有广泛的表现。更多样的人类示范,以及针对不同任务类型的量化比较,将有助于厘清该方法适用的范围及其失效之处。

常见问题

BURGER 代表什么? BURGER 是这个机器人绘画基准的名称;论文将其描述为一个通过具身绘画理解机器人泛化能力的基准。

机器人接收哪些输入? 机器人接收语言指令、画布的视觉观察结果以及自身的机器人状态,然后预测绘画工具的动作。

BURGER 中的机器人能画出训练时从未见过的物体吗? 报告的测试发现,模型难以绘制训练集之外的物体类别。对于熟悉的类别,它们处理得更可靠。

有人修改绘画时,机器人能作出响应吗? 可以。在示范中,机器人会在人修改画布时暂停,随后利用更新后的视觉观察继续完成任务。

BURGER 总体说明了什么?

BURGER 将语言条件绘画变成了一种实用方法,可用于检查 VLA 系统如何连接指令、视觉反馈和长序列动作。真实机器人的实例展示了系统对人类修改作出有效调整的能力,而未见类别测试则揭示了一条明确界限:能够遵循熟悉的标签,不等于能够泛化到新概念。

在机器人基准测试中,哪一点更重要:成功绘制新物体,还是从人类修改中恢复?