马尔可夫决策过程与仿真器访问
每个环境都由一个马尔可夫决策过程（MDP）和一份任务描述表示。
任务描述规定了机器人必须完成的目标。
初始状态分布生成对象数量、配置和几何形状各不相同的问题实例。例如，在对象检索任务中，实例可能在目标对象周围障碍物的数量和位置上有所不同。状态空间与动作空间、转移模型以及奖励函数均保持不变。
合成与评估
在评估时，程序会被冻结，合成方法不再被调用。具体而言，学习期间使用的任何编码代理或大型语言模型都不可用。程序将在学习期间刻意隐藏的初始状态上进行评估。
隐藏的初始状态分布提供合成阶段不可用的评估问题。
主要指标是成功率：程序在指定时域和 60 seconds 的墙钟时间限制内达到目标的概率。
时域规定了评估实例结束前允许执行的最大步数。
同时还会测量每个实例的计算时间。这包括规划和决定动作所花费的时间，但不包括合成时间以及推进评估环境所花费的时间。
基线方法
AgenticGenPlan 与任务和运动规划（TAMP）规划器进行比较；这些规划器结合符号搜索与采样，以满足连续约束。基准测试为 16 个环境（共 28 个环境）提供了规划器。
对于用于生成可行轨迹的手写谓词、算子、采样器和运动规划器（或技能），均采用官方实现。这些方法会针对每个评估实例计算一个新计划。
环境设置
对于每种方法，每个环境执行五次独立运行。每个编码代理合成运行和 LLMGenPlan 合成运行的模型使用预算均为 $20。
在每个环境中，使用相同的 100 个实例评估所得程序和规划器；这些实例从合成期间使用的同一初始状态分布中采样。评估种子随机生成，以降低代理在合成期间测试这些种子的可能性；之后通过检查确认没有任何评估种子被使用，从而验证这一点。
所有方法对每个评估实例均采用 60 seconds 的超时，与原始 KinDER 协议一致。
评估超时限制了解决每个实例可用的墙钟时间。
机器人程序的代理式合成
自 Code-as-Policies 以来，大型语言模型已经展现出生成机器人控制代码的能力，这些代码能够整合操作技能和感知接口。后续的 GenCHiP 和 InstructFlow 等工作将代码作为一种灵活的策略表示，同时强调所提供的动作接口和反馈的重要性。
在符号任务规划中，大型语言模型和执行反馈已被用于合成可复用程序，使其无需进一步调用语言模型即可解决新的 PDDL 实例。
讨论
局限性
该设置假设状态被完全观测、以对象为中心，并且在合成期间可以访问仿真器。因此，它无法证明系统在感知不确定性下的性能。
模型的训练数据未公开，因此无法排除其事先接触过基准代码的可能性。不过，合成日志显示，策略是通过探查环境、测试和大量修改逐步开发的。结合代理合成出的出人意料的策略，这些结果表明，代理并非只是回忆预训练期间见过的完整解决方案。
结论
编码代理是强大的广义 TAMP 规划器，能够合成可复用程序；在这些基准测试中，其表现优于手工设计的规划器和现有的基于大型语言模型的合成方法。
这些结果将基于大型语言模型的广义规划前景扩展到了具有几何、运动学和动力学约束的环境。通过交互，代理能够研究环境的物理行为，并在未获得其符号模型、技能或采样器的情况下制定有效策略。
这种同时发现环境运行方式和任务解决方法的能力，使编码代理成为未来 TAMP 研究的重要基线。
致谢
作者感谢 Pietro Ferrazzi 对论文初稿提出的反馈。本研究部分得到 Princeton SEAS Innovation Grant、NVIDIA Academic Grant Program 和 Princeton AI Lab Grant 的支持。
常见问题
什么是 AgenticGenPlan？ AgenticGenPlan 是一种编码代理方法，用于为广义任务与运动规划合成可复用程序。
如何评估性能？ 性能主要通过以下概率衡量：程序在允许的时域和 60-second 墙钟时间限制内达到目标的概率。
每个环境使用多少个评估实例？ 每种方法都在每个环境中的同一批 100 个实例上进行评估。
这项研究的主要局限性是什么？ 该设置假设状态被完全观测、以对象为中心，并且在合成期间可以访问仿真器，因此无法证明系统在感知不确定性下的性能。