一台会编写代码来观察、搜索并操控物体的机器人

一台会编写代码来观察、搜索并操控物体的机器人

Chen Chen, Omid Bagherieh, Naveen Nikamanth Appiah Balaji, Jesse T. Gonzalez, Negin Heravi +8 位

2 分钟阅读•2026年11月9日

AMP1 让通用 AI 模型持续参与机器人操作:模型编写 Python 代码、检查相机图像,并随着任务进展调整计划。在 RoboLab-120 中,测试表现最强的模型任务成功率达到 85.6%;系统还展现出在物体下方搜索、校准腕部相机等行为,而这些能力并未预先写入其执行框架。

目录

研究人员构建了什么?

研究人员构建了 AMP1,这是一个将通用 AI 模型接入机器人控制回路的软件系统。模型并非从固定的抓取或放置技能菜单中进行选择,而是编写 Python 代码来检查场景并向机器人发送指令。模型会接收代码运行结果——包括图像、打印信息和错误——并据此决定下一步行动。

系统的 Python 环境会在每项任务执行期间持续运行。这样,模型便能在不同轮次之间保留变量和函数、重用先前的计算结果,并逐步构建一系列动作。模型还可以请求获取另一张图像,或查询机器人的状态。如果动作失败,执行框架可以报告错误,让模型尝试恢复,而不是直接停止。

研究团队在多个模拟操作测试平台上评估了 AMP1。RoboLab-120 包含 120 项以语言描述的抓取与放置任务,每项任务都有默认、模糊和具体三种指令版本。评估还涵盖 LIBERO-PRO、robosuite、BEHAVIOR-1K 和 RoboDojo 中的任务,其中 RoboDojo 包含双臂任务。研究人员还在一台真实的 Franka 机器人上进行了试验,并添加了检查机械臂及从碰撞反射错误中恢复的功能。

AMP1 的表现如何?

在模型比较中,测试表现最强的模型 Gemini 4 Argon 达到了 85.6% 的成功率。研究人员在测试 13 个不同推理设置的模型时保持执行框架不变,因此比较聚焦于模型选择和推理投入对 AMP1 的影响,而非机器人控制接口之间的差异。

模型或比较报告结果
Gemini 4 Argon85.6% 成功率
Claude Opus 5.582.8% 成功率
Qwen3.8-Flash-Next64.9% 成功率
Claude Haiku 5.551.6% 成功率
Claude Opus 4.535.2% 成功率
Qwen3.6-35B-A3B12.8% 成功率

更多推理提升了所有受测模型的成功率,但也增加了推理成本。对于 Claude Opus 5.5 和 Sonnet 5.5,更高推理设置分别提升了 14.6 和 17.2 个百分点,每个任务回合约多花 $0.90。Gemini 4 Argon 提升了 2.3 个百分点,成本约增加 $1.30。

在成本比较中,论文报告 Opus 5.5 每个 RoboLab-120 任务回合的平均成本为 $1.39。这个价格约为 Astranomy 使用 GPT-6 Astra 时所报告的 $36.40 的 1/26;AMP1 和 Astranomy 报告的成功率分别为 82.8% 和 74.8%。这一比较表明,让 AMP1 发出较长的代码驱动动作,而不是要求模型逐一批准每个细小的末端执行器移动,可能有助于提高效率。

AMP1 任务执行过程中涌现出的操作策略示例

智能体式操作策略如何运作?

AMP1 通过反复进行观察—行动—复核来运行。模型接收语言指令并访问相机视图,随后在持久运行的 Python 解释器中编写代码。代码可以检查图像、进行计算、调用机器人控制函数,并控制运动轨迹。代码运行后,模型会看到打印输出、错误回溯信息、显示的图像,以及剩余控制步数和墙钟时间等信息。然后,模型决定下一轮该做什么。

与传统端到端策略相比,关键区别在于模型可以明确构建计划,并借助工具执行计划。这也不同于部署前要求模型编写完整程序的系统:AMP1 会持续参与控制,并能根据新的观测更新策略。模型可以结合视觉证据、几何推理和物理交互,而不必只依赖预先编写的操作技能库。

论文报告的一些行为展示了这种灵活性带来的能力。当相机看不到目标物体时,AMP1 会推断哪些物体可能挡住了它,逐个移开这些物体,然后再次查看。在另一个案例中,AMP1 通过采集已知夹爪姿态下的图像来校准腕部相机。多角度视图可用于估计相机的内部参数,以及相机相对于夹爪的固定位置。校准和 3D 估计占用了该任务回合 44 次模型调用中的 16 次,而且都发生在首次抓取之前。

这种方法也有明确的时间限制:运动轨迹执行期间,模型无法修改轨迹。动作完成并返回结果后,模型可以做出响应,但无法在运动过程中持续调整。

连接模型编写的 Python 代码、机器人动作与返回观测的智能体执行框架

这对机器人技术为何重要?

当指令含糊、物体被遮挡,或场景与训练数据中的示例不同时,机器人往往难以应对。AMP1 允许通用模型检查动作结果并选择新动作,以此应对这些情况。搜索隐藏物体就是一个很好的例子:机器人移动物体不仅是为了完成指定的抓取任务,也是为了查明目标在哪里。这是一种交互式感知——通过行动来增进机器人对周围环境的了解。

这些结果也说明了一项实际权衡。论文称,专用操作策略动作迅速,但可靠性不足;AMP1 的任务成功率更高,却需要花费大量时间等待模型推理。因此,对于任务种类比节拍时间更重要、产量较低且需要灵活性的工作流程,这种方法值得关注;但对于快速、重复的生产任务,它仍不太适用。

对于正在探索实体自动化的买家和运营团队而言,这些发现提醒我们,机器人机械臂只是系统的一部分:模型、传感、控制接口和恢复流程都会影响性能。评估平台的团队可以浏览待售二手机器人,或探索仓储机器人,作为更广泛自动化方案调研的一部分。论文并未证明 AMP1 已经适用于这些部署场景,但它为需要处理多样指令和意外场景的机器人提供了一种软件发展方向。

有哪些局限和待解问题?

AMP1 速度较慢,因为每个任务回合中,机器人有很大一部分时间都在等待模型推理。它也无法在运动轨迹执行过程中中断或重新思考。评估场景大多是准静态的,因此尚不能证明这种方法能够妥善应对移动中的目标、从夹爪中滑落的物体,或其他需要在动作中快速响应的事件。

论文结果并未表明 AMP1 已可用于任务关键型工作。虽然研究人员在真实的 Franka 机器人上进行了试验,并加入了从碰撞反射中恢复的功能,但所提供的结果没有给出实际环境中的总体成功率。其他待解问题包括:该方法能否可靠地迁移到不同机器人平台;性能在多大程度上取决于图像质量和模型选择;以及加快推理速度能否维持当前成功率。目前,AMP1 是一个前景可观的基础方案,而非可立即部署、能够替代可靠快速控制的系统。

读者应了解智能体式操作的哪些内容?

“智能体式操作”是什么意思? 它指通用模型在机器人工作期间持续参与其中,解读观测结果并选择动作,而不是仅仅从预先构建的技能中进行选择。

AMP1 是否依赖预先编程的操作技能? 论文重点介绍的策略,包括搜索隐藏物体和校准相机,并未在提示中指定,也未作为预定义技能提供。这些策略是模型在解决任务时生成的。

报告的比较中,哪个模型表现最佳? 在 AMP1 执行框架下,Gemini 4 Argon 达到了报告中最高的成功率 85.6%。这一结果仅适用于本次评估,并不代表所有机器人或任务的表现。

AMP1 已经适合部署在工厂或仓库吗? 论文指出,推理速度较慢,以及在轨迹执行期间响应能力有限,都是重要制约因素。论文将 AMP1 定位为一个前景可观的基础方案,而非任务关键型部署系统。

实际启示是什么?

AMP1 展示了机器人如何利用通用模型规划动作、检查结果并调整方法,而不必完全依赖固定技能。结果令人鼓舞,但如何让这种灵活性变得快速而可靠,仍是核心工程挑战。

对于你的机器人应用而言,哪一点更重要:灵活处理任务,还是快速且可预测地执行?