Grana组合子任务进度,追踪长时程机器人操作

Grana组合子任务进度,追踪长时程机器人操作

Zi-ang Cao, Kaiyuan Zheng, Yinzhen Xu, Haonan Duan, Jiasheng Gu +12 位

1 分钟阅读•2026年11月19日

Grana学会选择尚未完成的子任务并预测其局部进度,然后将这些结果组合为整体任务进度。同一个语言条件模型先在以短任务为主的数据上预训练,再用于更长的任务组合。其进度目标同时考虑执行质量和被评估子任务在任务序列中的位置。

预测子任务进度

给定摄像头观测、任务描述和任务的子任务序列,Grana会选择尚未完成的子任务并预测其局部进度。提供的序列指定了用户偏好的执行顺序和评估粒度。子任务描述作为语言输入交给共享预测器处理;其顺序和数量并未硬编码在架构中。因此,同一任务可以按照不同的有效顺序,或以更粗略、更精细的分解方式进行查询。训练或适配使用基于所选规格定义的监督信号,而推理则以提供的列表为条件。整体任务进度衡量的是相对于用户指定流程的完成情况。

如果已完成六个子任务,且第七个子任务已完成一半,则整体任务进度等于已完成子任务数加局部进度,再除以子任务总数。如果局部进度降至零,则估计值变为已完成子任务数除以子任务总数。这种组合方式假设先前的子任务在局部失败后仍保持已完成状态;选择错误仍可能导致估计偏差。

在我们的模型中,子任务选择和进度预测共用一个VLM,该模型处理按时间采样的多视角观测,从而提供上下文以区分失败尝试及其后的恢复过程。时序Transformer将特征结合起来,并通过共享预测头预测局部进度。时序聚合可以使用较晚时刻的观测。在我们的策略学习实验中,我们对记录的轨迹进行离线评分。

跨子任务的组合式进度预测示意图

不完美执行的监督信号

选择正确的子任务并不能说明该子任务完成了多少。经过的时间既包括成功插入,也包括反复对位失败,但这两种执行情况应获得不同的进度目标。因此,我们将子任务标注与局部动作质量(AQ)判断相结合。子任务标注用于识别已完成的工作;AQ判断则描述未完成子任务中的挫折与恢复。

标注人员标出子任务边界,以及执行质量欠佳或进度倒退的时间区间;未标出的区间视为正常。正常执行是指按任务要求正常进行。质量欠佳的执行有所退化但未发生物理失败,例如螺钉错位但仍被夹持。进度倒退的执行则因物理失败而损失局部进度,例如螺钉掉落。此外,每个子任务都有一个二元结果:成功完成为1,失败为0。这些结果描述子任务的最终状态:即使子任务已经完成,其间也可能出现进度倒退,随后再恢复。

这些标注定义了一个基于动作质量和子任务结果的局部进度目标,无需为单帧指定数值评分。在每次未中断的尝试中,我们按动作质量分配进度,使正常帧的增量大于质量欠佳帧。在包含重试的成功子任务中,进度倒退会将局部进度重置为零,后续尝试再将其逐步恢复。二元结果则为最终局部进度目标提供锚定。

训练子任务选择与进度预测

由于Grana会自行选择子任务,进度训练必须考虑模型可能错误选择描述的情况。例如,如果插入只完成了一部分,但模型选择了紧固,那么紧固应获得零进度,而不是插入对应的部分进度。我们利用任务顺序定义每个查询子任务的目标:较早且已完成的子任务目标为1,标注为未完成的子任务目标为其局部进度,较晚的子任务目标为零。

我们使用Qwen3.5-4B和LoRA实现共享预测器,训练适配器、时序Transformer和进度头,同时冻结基础VLM。选择和进度预测采用交叉熵目标。对于进度训练,标量目标被编码为相邻分箱上的分布;预测头输出一个分布,其均值给出连续的进度估计。两个目标函数都会对偏离目标更远的预测赋予更高权重。预训练和适配保留相同的架构和语言接口。推理时,模型接收观测、描述和子任务列表,不接收标注输入。

利用进度进行策略学习

进度变化量为记录的动作提供反馈:进度增加表示有所推进,进度下降则表示遇到挫折。在每项比较中,我们对所有奖励模型采用相同的转换流程,并以两种方式使用这些变化量。

实验

我们的实验围绕四个问题展开:

  • 监督信号:结构化的子任务和质量标注能否提供实用且有效的进度监督?
  • 泛化:Grana在不同任务、时程、具身形态和数据集上的泛化能力如何?
  • 预训练与组合:奖励模型预训练如何提升长时程适配?子任务组合能否提升Grana和GPT-6 Astra等前沿VLM的进度预测?
  • 策略学习:由此得到的进度估计能否改善下游策略学习?

实验设置

策略实验使用GR00T-2世界动作模型;在每项任务及每次比较中,初始化、数据和学习流程保持不变,只改变奖励模型。

奖励预测与泛化

我们评估模型在留出任务上的零样本预测、对更长任务和不同具身形态的适配能力,以及在公开基准上的整条轨迹排序表现。

对于50个没有目标任务奖励标签或微调数据的留出任务,Grana的RMSE为0.180,而最强基线RoboMeter为0.227,降低了20.7%。将预训练任务从15个增加到200个,可使留出任务上的RMSE降低35.3%。

实验中使用的五项长时程机器人操作任务

子任务组合与进度预测

我们先测试子任务组合能否提升进度预测,再考察子任务选择和局部进度预测各自的作用。

在飞机模型组装任务中,直接预测整体任务进度的模型与组合式预测器均从未经奖励模型预训练的基础Qwen开始训练,并采用匹配的适配预算。自动选择子任务并组合局部进度后,使用D15时RMSE降低17.3%,使用D100时降低13.4%,其中也包含选择错误的影响。

在汽车模型组装任务的零样本测试中,组合方法将累积RMSE从1.578降至0.524(GPT-6),并使基础Qwen3.5-4B的RMSE降低32.4%。这些提升表明,我们提出的子任务组合方法可以改善这两种模型的进度预测。

下游策略改进

我们通过离线强化学习和进度加权行为克隆,测试预测进度能否改善策略。附录E还报告了拖拉机组装上的测试时模型预测控制(MPC),其中Grana负责判断何时规划,并从想象出的未来中进行选择。

每种奖励来源都对同一批BC策略轨迹进行评分,涉及两个留出任务:50个星形插入任务轨迹(一个子任务),以及45个将管件从盒子转移到架子的任务轨迹(三个子任务)。我们使用相同规则将所有奖励模型预测的进度转换为奖励。这些奖励用于监督IQL评论家学习,之后再进行BPPO演员更新。零样本表示奖励模型没有获得目标任务的奖励标注;策略则在经过评分的目标任务轨迹上训练。

展示操作过程中局部进度的螺钉插入示例

致谢

我们使用了包括GPT-6 Astra、Claude Fable 5和Opus 5在内的AI工具润色语言、提升所有图示的呈现清晰度,并协助实现代码。

参数选择与示例演算

飞机组装插入示例对应9个子任务中的第7个。此时已有六个子任务完成,因此整体任务目标为已完成子任务数加局部进度,再除以子任务总数。该示例包含1,117个同步样本,采样频率为30 frames per second,索引范围为0至1,116。第一次尝试在第249帧之前均为正常执行;第250–820帧出现进度倒退;第821–1,116帧则显示正常恢复,并最终成功。

进度一致性指标

飞机和汽车模型测试回合的评分采用整体任务进度,即累计子任务进度除以子任务总数,再对四个摄像头视角取平均,频率约为1 Hz。两项指标均使用这些回合的人工标注。

标注人员会在每个子任务中标出高质量和低质量执行的关键帧。对于来自不同回合、属于同一子任务的每一对高质量与低质量关键帧,我们取时间上距离各关键帧最近的评估点所对应的分数(距离在0.5 s以内)。Q-Rank表示高质量关键帧得分严格高于低质量关键帧的配对比例。如果从同一连续分布中独立随机抽取分数,则任一帧得分更高的概率相同,因此Q-Rank的平均值为50。每项任务涉及12个低质量关键帧。

训练与推理

预训练和适配采用上述目标函数,并保留相同的架构和语言接口。在适配阶段,对于模型自行选择的描述,使用以顺序为条件的目标。

推理分为两个依次执行的调用:第一次从提供的有序列表中选择一个子任务,第二次根据该子任务的描述预测局部进度。随后按照整体任务进度规则,将所选子任务的索引与局部预测组合起来。推理只需要观测和文本输入,不需要子任务边界、AQ或结果标注。

开启和关闭MPC

  • 进度停滞。在指定时间间隔内,整体任务进度没有增长:策略陷入停滞,或反复尝试失败。
  • 子任务跳跃。平滑后的子任务索引向前跳过:策略尚未完成当前步骤就转向后续步骤,例如还未安装车轮就去拿电钻。

拖拉机组装

不使用MPC时,策略完成了10次组装中的2次;使用MPC时,完成了10次中的9次。不使用MPC时的失败包括车轮掉落或倾斜,以及跳过步骤,例如还未安装车轮就去拿电钻。使用MPC仍出现的一次失败中,四个车轮均已安装,但拖拉机没有摆正。这些结果表明,无需更新策略,Grana的子任务和进度估计就能同时判断何时需要规划,并指导动作选择。

常见问题

Grana如何估计整体任务进度? 它会选择尚未完成的子任务、预测其局部进度,并将该估计与任务的有序子任务列表结合起来。

Grana如何区分有效进展与挫折? 子任务标注用于识别已完成的工作,动作质量标注则标出正常、质量欠佳和进度倒退的执行情况。进度倒退可能会重置局部进度,之后的尝试再将其逐步恢复。

Grana在推理时接收什么? 它接收观测、任务描述和提供的子任务列表。推理时不需要子任务边界、动作质量或结果标注。

MPC对拖拉机组装结果有何影响? 不使用MPC时,策略完成了10次组装中的2次;使用MPC时,完成了10次中的9次,且没有进行任何策略更新。