方法
我们提出了一种名为 HiRoC 的机器人操作控制层级分解框架。在 HiRoC 中，规划器与执行器被设计为两个相互补充的模块。规划器通过监督微调（SFT）进行训练，根据当前情境生成子目标。这些子目标引导执行器做出决策；执行器则通过 SFT 和强化学习（RL）调优进行训练。
通过 SFT 训练规划器
现有的具身智能骨干模型无法将任务分解为多个子任务，也无法动态生成相应的子目标。为解决这一问题，我们通过 SFT 对规划器进行微调。然而，用于训练规划器的对应数据并不充足。因此，我们对现有数据集进行清洗和重组，以构建规划器训练数据。
训练规划器
基于准备好的轨迹，规划器通过 SFT 进行优化，在给定当前观测的条件下生成相应的子目标。具体而言，对于重构后的数据集，SFT 目标定义如下：
SFT 目标是让规划器根据当前观测和重构后的训练数据，预测恰当的子目标。
实验
我们采用 Qwen2.5-VL-3B 作为规划器，并在准备好的数据上使用 LoRA 对其进行微调。执行器采用 OpenVLA-OFT。首先，我们在重组后的子目标条件数据上使用 LoRA 通过 SFT 对执行器进行微调，随后进行强化学习调优。
GRPO 的组大小设为 8。在评估过程中，我们为每个任务进行 50 个测试回合，并报告各任务及各基准测试套件的平均成功率。所有实验均在 8 张 NVIDIA H200 GPU 上完成。我们将 HiRoC 与十种具有代表性的基线方法进行比较。更多细节见附录。
迁移能力：零样本性能
为评估 HiRoC 的泛化能力，我们在 LIBERO-Plus 上进行验证，并与 OpenVLA、OpenVAL*-One 和 WorldVLA 进行比较。我们报告每种扰动下的成功率以及平均成功率。
在所有扰动类型上，HiRoC 都取得了最佳泛化表现。与 OpenVLA 等基于 SFT 的模型相比，HiRoC 的显著提升表明，在线交互能够探索出比静态全量数据集更多样的轨迹。
尽管 WorldVLA 通过建模环境动力学提升了泛化能力，但它仍然容易受到环境变化的影响，并且需要额外数据才能适应新任务。相比之下，HiRoC 将目标分解为多个子目标，使执行器能够专注于逐个完成子目标，从而减轻其决策负担。
真实世界实验
为验证 HiRoC 的实际应用价值，我们在真实机器人平台上开展了仿真到现实（sim-to-real）实验。训练期间，执行器完全在高保真模拟器中进行优化，模拟器的工作空间、物体尺寸和机器人配置均与真实系统保持一致。
随后，我们将训练好的 VLA 策略直接部署到真实机器人上，无需额外微调。在规划器生成的子目标引导下，执行器成功接近、抓取、搬运并放置目标物体。
这一成功部署证明了 HiRoC 在真实世界机器人操作中的有效性，以及其具有潜力的仿真到现实迁移能力。
结论
我们提出了 HiRoC，这是一种由高层规划器和低层执行器组成的层级化后训练框架。规划器通过 SFT 进行训练，将复杂任务分解为更简单的子任务，并生成用于引导执行的子目标。
为解决两个模块之间的数据分布不一致问题，我们重组了子目标条件数据集，并进一步通过强化学习调优执行器。实验结果和大量分析表明，HiRoC 及其各个组成部分均具有良好效果。
尽管 HiRoC 展示了层级分解在机器人操作中的价值，未来工作仍将探索端到端训练，以及更稳健的分解机制，以应对真实物理系统中的不确定性。我们希望，HiRoC 能够凸显将层级任务分解与基于强化学习的策略优化相结合，对于复杂机器人操作任务的重要意义。
实验细节
仿真实验
我们在 LIBERO 的四个基准测试套件上开展所有实验，包括 Spatial、Object、Goal 以及长时程 LIBERO-10 套件。
遵循以往工作，我们首先从每个套件的少量示范数据中进行采样，并据此对预训练的 OpenVLA-OFT 模型进行微调，以获得针对各套件的基础执行器。高层规划器以 Qwen2.5-VL-3B 为初始化模型，并在我们整理的规划器数据集上通过 SFT 进行微调，以生成中间语言子目标。
真实世界实验
我们在 JoySim 中开展真实世界实验，并采用 JoyRA-0.1 作为基础 VLA 模型。任务要求机器人从桌面上抓取一瓶修正液，并将其放入盒子中。
高层规划器以 Qwen2.5-VL-3B 为初始化模型并通过 SFT 进行微调；低层执行器以 JoyRA-0.1 为初始化模型，并在模拟环境中通过强化学习使用 Flow-SDE 进行优化。
训练完成后，我们将学习得到的策略直接部署到真实机器人平台，在无需任何额外真实世界微调的情况下进行零样本评估。
提示词细节
高层规划器和低层执行器所使用的提示词见论文。
案例研究
多个具有代表性的操作案例展示了 HiRoC 在长时程机器人任务中的有效性。不同于始终以全局指令为条件的扁平化 VLA 策略，HiRoC 通过高层规划器将复杂任务明确分解为一系列子目标，使执行器能够专注于当前的操作目标。
在一个案例中，机器人需要拿起奶油奶酪并将其放入篮子。规划器首先生成“接近奶油奶酪”这一子目标，引导执行器定位并接近目标物体。接近物体后，规划器将目标更新为“抬起奶油奶酪”，使执行器能够执行精准的抓取动作。
随后，子目标依次变为“移动到篮子旁”和“放入篮子”。通过提供针对不同阶段的语义引导，HiRoC 避免了直接执行完整任务指令时的歧义，并成功完成了这一长时程操作序列。
第二个案例展示了 HiRoC 处理需要与不同空间目标依次交互的任务的能力。对于“将碗放入底层抽屉”的指令，规划器逐步将任务分解为接近、抬起和放置等阶段。
执行器无需从全局指令中推断完整的操作流程，每个子目标都会提供清晰的中间目标。因此，执行器能够根据当前任务阶段调整行为，并在整个执行过程中保持稳定进展，体现出层级任务分解的优势。
第三个案例展示了更复杂的多物体操作场景：机器人需要将两个摩卡壶放到炉子上。规划器首先引导执行器接近并抬起第一个壶，将其放到炉子上，随后为操作第二个壶生成新的子目标。
这一案例表明，HiRoC 能够动态组织多个操作步骤，并处理需要反复执行物体级操作的任务。通过结合规划器生成的子目标与子目标条件下的执行器优化，HiRoC 为长时程决策提供了可靠引导，并实现了稳健的任务完成。
常见问题
什么是 HiRoC？ HiRoC 是一种用于机器人操作的层级化后训练框架，由高层规划器和低层执行器组成。
规划器如何训练？ 规划器以 Qwen2.5-VL-3B 为初始化模型，并通过监督微调进行训练，以生成中间语言子目标。
执行器如何优化？ 执行器首先在重组后的子目标条件数据上通过监督微调进行训练，随后通过强化学习调优。
HiRoC 能迁移到真实机器人上吗？ 可以。在模拟环境中训练的策略被直接部署到真实机器人平台上进行零样本评估，无需额外的真实世界微调。