一种名为Spark的新系统能够让机器人在无需任何预训练或人类演示数据的情况下，规划并执行复杂的多步骤操作任务。它结合了开放词汇感知模型、单次生成类型化行为树的Transformer以及分层次恢复层，能够动态重新定位感知信息。
目录
研究人员构建了什么
Spark是一个完整的机器人操作系统，可在不同机械臂（UR10e、Franka FR3、双臂Franka）上运行，无需任何训练或微调。其核心是类型化行为树（BT）——一种结构化方案，机器人像乐师读谱一样“视奏”该方案。Transformer模型（称为Gemini）一次性输出完整的行为树，使用紧凑的操作原语词汇表（抓取、放置、倾倒、清扫等）。每个原语都有类型化的输入（对象、手臂、位姿、力），由规划器填充。
感知栈使用SAM3（开放词汇分割模型）从文本提示中定位物体。多台摄像头提供深度数据，逆运动学控制器执行每个动作。如果某原语失败（例如抓取未中），分层次恢复层首先尝试小幅扰动，然后收回手臂并重新运行感知，最后才重新生成整个方案。这种与先前工作中每次失败都重新规划的做法相分离，是Spark高效的关键。
关键结果
Spark在三个机器人平台上的一组10个任务上进行了评估。结果显示许多任务接近上限性能，对可变性物体和不同照明的鲁棒性尤为突出。以下是物理机器人设置的成功率摘要：
| 任务 | 机器人 | 成功率 | 备注 |
|---|---|---|---|
| 餐具放入托盘 | UR10e | 91% (4/5) | 接近上限；加宽夹爪有助于 |
| 毛绒玩具放入碗 | UR10e | 100% (5/5) | 对柔软几何体鲁棒 |
| 叠积木 | UR10e | 80% (4/5) | 宽积木挑战夹爪开度 |
| 餐具放入托盘 | Franka FR3 | 73% (8/11) | SAM3将刀误标记为勺 |
| 倾倒杯子 | Franka FR3 | 73% (8/11) | 手柄处深度噪声；倾斜与倾倒误差 |
| 扫入簸箕 | Franka FR3 | 62% (5/8) | 刷子抓取位置和方向问题 |
| 折叠T恤 | Franka FR3 | 50% (5/10) | 深色布料失败；浅色衬衫100%成功 |
| 餐具分类 | 双臂 | 75% (3/4) | 多物体定位导致手臂碰撞 |
| 擦洗盘子 | Franka FR3 | 100% (5/5) | 力受限的圆周擦洗工作可靠 |
这些结果尤其令人印象深刻，因为Spark不使用训练数据——它完全依赖预训练的视觉模型和已学会从语言指令组合原语的Transformer。
工作原理
Spark以闭环方式运行：感知、规划、执行、恢复。规划器（Gemini）是一个Transformer，它接收自然语言任务描述并输出类型化行为树。树的节点是原语，如grasp、place、pour、sweep、scrub，每个都有类型化的参数槽（例如grasp(object, arm, pose, force)）。该语法受音乐转录的MT3令牌词汇启发——紧凑且可组合。
感知使用SAM3，文本提示来自规范物体名称或运行时的任务语言。对于每个遮罩，系统从多个Azure Kinect DK摄像头（侧视角主摄像头、俯视角从属摄像头）加上腕部RealSense D4351进行近距离细化，计算质心像素和中值深度。点被反向投影到世界坐标。
分层次恢复层使Spark实用化。出现故障时（例如抓取未中），系统首先尝试小幅扰动（摆动或抓取扰动）。如果失败，手臂沿摄像头视线方向收回10厘米，重新运行SAM3，并用更新后的物体位置重试相同的方案。仅当两者都失败时才重新生成方案。论文报告说，禁用重新定位会导致Libero-Pro上的“分数”损失（大约10-15%的下降），因为大多数失败是初始帧SAM3错失，当手臂移出视野后即可解决。
为何对机器人领域重要
Spark证明，无需训练的规划器可以匹配或超越需要昂贵训练数据的视觉-语言-动作（VLA）模型的性能。对于车队管理者和集成商来说，这意味着更快的部署：无需为每个新任务或机械臂收集演示数据或微调模型。类型化行为树还能生成可解释的日志——每次试验记录方案、轨迹和物体定位——可用于为基座模型生成训练数据，而无需远程操作。
使用相同代码库在不同机械臂（单臂UR10e、Franka FR3、双臂Franka）之间切换的能力，对于运行多种机器人类型的实验室或工厂来说是一个巨大优势。该系统尤其擅长处理变形物体（毛绒玩具、布料）和精细操作（擦洗盘子）。
对于评估二手工业机器人或二手协作机器人出售的企业来说，像Spark这样的系统可以降低那些不值得传统编程的定制批量作业的自动化门槛。
局限性与待解决问题
Spark在深色织物上表现不佳（由于SAM3不一致，对黑/灰色T恤成功率为零），在勺子手柄和细刀轮廓等窄物体上也存在困难。双臂分类任务中，当两只手臂在同一工作区追踪物体时发生碰撞——这是一个协调问题，可能需要额外的外部摄像头。深度源仍依赖结构光传感器；单目深度（DA3）可用但未在实验中使用，表明精度仍令人担忧。
一个更深层次的问题是，类型化语法如何很好地泛化到原语词汇之外的任务。论文提到“constrained_scrub”是规划器发出的复合技能——Transformer是否真能在运行中创造新原语？当前设计强制使用有限集合，可能限制了真正新颖操作的表达能力。
常见问题解答
Spark需要训练数据吗？ 不需要。Spark使用预训练的SAM3进行感知，以及一次性输出行为树的Transformer（Gemini）——无需微调或演示数据。
支持哪些机器人？ Spark通过相同的代码库，可在单臂系统如UR10e和Franka FR3，以及双臂Franka设置上运行。
Spark如何处理执行中的失败？ 分层次恢复层首先尝试小幅扰动，然后收回手臂并重新运行感知，最后才重新生成整个方案。
Spark可以使用低成本深度摄像头吗？ 报告中的实验使用Azure Kinect DK结构光深度。存在单目后备方案（DA3）但未评估，因此使用更便宜传感器的准确性尚未证实。
结论
Spark证明，无需训练的感知驱动规划器可以处理跨多个机械臂的复杂序列操作，并取得令人印象深刻的成功率。其分层次恢复和一次性行为树生成使其与当前的VLA模型区分开来，为数据收集不切实际的环境提供了一条快速部署的实用路径。
类型化原语的语法能否与端到端学习策略在真正新颖任务上的灵活性相媲美？
查看原始论文：arXiv:2606.30613