BT-Agent 将语言模型规划器与预定义的行为树技能相结合,让机载机器人能够选择多步动作,同时通过本地检查在必要条件不满足时停止执行。在一项包含 161 项任务的文本评测中,该框架在八个并发工作进程下的评测吞吐量达到 Habitat 的 10.9×;机载试验则展示了搭载 9-billion-parameter 模型运行的架构。
研究人员构建了什么?
BT-Agent 是一个将高层指令转化为一系列机器人动作的系统,并明确区分“决定做什么”和“控制动作如何执行”。一个称为 Actor(执行者)的语言模型会综合考虑任务、此前步骤以及保存的结果。它可以选择一项机器人技能、提供该技能所需的输入、请求更多信息,或报告任务已完成。
每项技能都由预定义的行为树实现:这是一套结构化、可供审查的检查与动作序列。在启动物理技能前,BT-Agent 可以检查输入是否有效、所需信息是否齐备。执行过程中,行为树会反复检查机器人是否已完成定位、动作是否超时,或是否有人取消了任务等条件。如果检查未通过,技能可以被中断,Actor 会收到诊断反馈。
该系统面向机载运行而设计;在此场景下,模型推理需要与机器人的其他部分共享有限的计算资源。研究人员还搭建了多保真评测环境:低成本文本环境、基于物理的模拟器和实体机器人试验使用相同的任务目标与技能接口。这样便可以先以较低成本测试决策,再检查其在模拟环境和硬件上的表现。

主要结果是什么?
评测涵盖室内和室外场景中的 161 项任务。研究人员报告称,在八个并发工作进程下,文本评测的运行速度比 Habitat 评测快 10.9×。这使文本环境适合快速迭代,但吞吐量衡量的是评测运行速度,而不是机器人成功完成了更多任务。
机载试验展示了 BT-Agent 搭载 9-billion-parameter 模型运行并协调任务,同时由本地行为树检查处理执行条件和中断。研究还将 BT-Agent 与 Act、ReAct 及经过适配的 CaP-X 版本进行了比较;在每种评测后端中,各方法使用相同的技能层和执行检查。报告提供了这些比较的描述,但没有给出各模型的成功率或基线胜率,因此不足以对这些方法进行数值排名。
| 报告结果 | 描述内容 |
|---|---|
| 161 项任务 | 综合文本基准:50 项主要任务和 111 项迁移任务 |
| 50 项主要任务 | 39 项源自 Habitat,11 项源自 Isaac |
| 111 项迁移任务 | 额外的室内任务,用于测试配置而不更改模型权重 |
| 10.9× 吞吐量 | 八个并发工作进程下,文本评测与 Habitat 评测的比较结果 |
| 9-billion-parameter 模型 | 机载试验演示中使用的模型 |
任务集包括物体搜索、检查和交互,并设置了歧义程度、目标数量、依赖关系和不可行性等不同情况。因此,评测考查的不只是简单导航,不过现有数据并未说明各类任务的成功频率。

BT-Agent 如何工作?
BT-Agent 采用反复进行决策与执行的循环。首先,Actor 会接收任务、精简后的历史记录,以及此前技能保存的结果。它选择一项技能并提供参数。随后,监督行为树运行该技能,并在再次调用 Actor 前返回状态和结果。这种一次执行一项技能的模式,将任务层面的决策与技能固定的执行逻辑分开。
不同技能承担不同职责。有些技能用于收集上下文,例如查询场景记忆或巡查摄像头;另一些则执行导航或图像采集等物理动作。即使物理动作受阻,上下文技能仍可能发挥作用:机器人可以收集证据或说明限制,而不是尝试执行不满足条件的动作。具类型对象存储会保留结果供后续使用,摘要后的历史记录则有助于限制模型的上下文长度。
行为树提供了无需再次调用模型的检查机制。在物理动作开始前,系统可以验证参数、解析对象引用,并确认所需观察结果是否存在。执行期间,行为树会定期更新,即进行“tick”,以检查取消请求、经过的时间以及技能专属的守卫条件。例如,如果定位失败,导航技能便可以停止。守卫条件未通过时,行为树会中断相应分支,并要求控制器停止;如有反馈,随后会将其传递给 Actor。
在开发过程中,文本环境与模拟环境使用相同的任务目标和技能接口,并通过明确的目标检查来统一评测方式。文本环境还支持可控的故障注入,让研究人员无需承担反复进行完整物理模拟的成本,就能测试决策如何应对故障。

这对机器人技术为何重要?
语言模型可以选出一个看似合理的下一步动作,却未必知道机器人当前状态是否适合执行该动作。BT-Agent 将重要的执行检查保留在机器人端的技能逻辑中,而不是完全交由模型处理,从而应对这一问题。当机器人丢失定位、收到取消请求,或缺少导航所需信息时,这一区分尤为重要:本地检查可以中断技能,无需等待模型再次响应。
该架构还为工程团队提供了更易检查的部署单元。开发人员可以分别审查和测试技能的固定行为树与模型的任务选择。这并不能保证行为正确或安全,但与完全即时生成所有执行逻辑的系统相比,它让人更容易检查物理动作开始和持续执行所需的条件。
这套评测流程提供了一种实用的开发模式:先在文本环境中快速测试任务逻辑,再通过模拟暴露故障,最后评估机载运行情况。这些是相辅相成的检查,不能相互替代,也不能单独证明真实环境中的性能。该基准侧重搜索、检查和交互,而非仓储作业;不过,将任务规划与受监控执行分离的做法同样适用于仓储机器人及其他移动平台。
局限性与待解问题有哪些?
BT-Agent 可以编排已有技能并为其设置参数,但无法在运行时创造新的物理能力。面向目标平台的每项技能及其守卫条件都必须经过编写和集成。这提升了可审查执行逻辑的价值,同时也意味着机器人需要新能力或不同控制器接口时,工程团队必须投入额外工作。
系统还取决于提供给 Actor 的证据质量。即使技能前置条件能阻止某些不符合条件的动作,不完整或含糊的观察仍可能导致不理想的任务选择。报告中的机载演示证明了该架构能够在本地运行,但现有结果缺少足够的量化成功数据,无法判断其在不同任务中或相对于基线方法的可靠性。
研究人员提出的后续工作包括:在行为树持续监督的同时进行推理;利用技能步骤失败的信息指导恢复;以及测试更强的模型。作者还指出,可以探索先通过文本环境进行策略学习,再通过模拟环境和机器人评测的方向。
常见问题
该系统中的行为树是什么? 它是一种结构化程序,用于定义机器人技能如何检查条件并执行。BT-Agent 用它将执行规则与模型的任务层面选择分开。
BT-Agent 会让模型直接控制机器人的每一个动作吗? 不会。模型会选择一项具名技能并提供输入,预定义的技能逻辑则负责控制执行并检查条件。
10.9× 结果衡量的是什么? 它衡量八个并发工作进程下,相对于 Habitat 的文本评测吞吐量。它不是任务成功率,也不是机器人速度的衡量指标。
BT-Agent 是否在实体机器人上进行过测试? 是。研究报告了搭载 9-billion-parameter 模型进行的机载试验,但现有结果未给出这些试验的任务成功率数值。
BT-Agent 将模型驱动的任务选择与机器人端的检查相结合,在执行条件不满足时可以中断技能。其文本、模拟和机载评测展示了一条开发路径,同时也留下了一个问题:该系统在更多任务和平台上的表现究竟有多可靠。
