视觉-语言-动作模型
除通用的监督微调策略外，近期研究也开始关注VLA模型中功能不同的模块在适配过程中的交互。知识隔离研究视觉-语言骨干网络与动作专家之间的梯度干扰，通过隔离动作侧梯度，减少其对预训练视觉-语言知识的干扰。然而，这类方法主要关注监督训练阶段的梯度隔离，尚未考虑在线后训练阶段针对不同模块进行独立的强化学习优化，也未研究语义侧模块与动作侧模块的相对更新频率所带来的影响。
VLA的异步执行与优化
总体而言，现有研究已分别探索VLA模型设计、强化学习后训练，以及异步推理与系统优化。然而，在强化学习后训练期间，如何设置功能不同模块的参数更新频率仍缺乏充分研究，尤其是如何为语义侧模块和动作侧模块分配不同更新频率的机制。
语义-动作频率解耦优化
省略的表达式分别表示动作专家和语义投影层的有效更新频率。
动作到语义的更新频率比定义为动作专家有效更新频率与语义投影层有效更新频率之比。
实验
我们开展实验，以回答以下问题：
- 与预训练的当前最先进VLA策略及强化学习后训练基线相比，TEMPO能否提升VLA在长时域任务上的表现？
- 语义投影层和动作专家在强化学习后训练中能否带来互补收益？
- 语义投影层与动作专家之间的更新频率比如何影响性能？
- 后训练任务集的规模如何影响性能？
真实世界实验
实验设置
我们在一个实体平台上开展多阶段语言条件操控实验。该平台由一台6自由度Synria Alicia-D机械臂和一个单自由度夹爪组成。视觉观测由两台Intel RealSense相机提供：D435i用于采集工作空间的第三人称RGB视角，安装在腕部的D405则记录夹爪周围的近距离观测。
我们评估两项多阶段操控任务；两项任务都要求机器人先满足一个前置条件，才能与目标物体交互。每项任务采集60段人工示范轨迹，共计120段。每段轨迹都包含同步图像、机器人状态、执行的动作指令和语言指令。这些示范为在线强化学习后训练提供任务特定的监督数据。
在线强化学习后训练
在线强化学习后训练期间，我们分别报告每项任务的评估奖励。对于每个随机种子，我们在每个检查点进行20次试验，并将二值任务奖励求和：成功记为1，失败记为0。
在两项任务中，评估奖励在早期阶段都有所波动，随后随着后训练推进逐步提升并趋于稳定。与FLOWER-RL相比，TEMPO在后训练后期达到并保持了更高的奖励水平。
结论
本文提出TEMPO——一种语义-动作解耦的强化学习后训练框架。该框架通过专用的强化学习循环分别优化不同的VLA组件：在冻结预训练视觉-语言骨干网络的同时适配语义投影层，并优化动作专家，使其通过在线反馈学习控制与执行相关行为。
针对模块的更新频率策略协调两者的适配过程：以较低频率更新语义投影层，从而减轻潜在动作空间的漂移；以较高频率更新动作专家，以更高效地吸收控制反馈。
在CALVIN和两项真实世界操控任务上的评估表明，与当前最先进的VLA模型及强化学习后训练基线相比，TEMPO在仿真环境中取得了更好的长时域任务表现，并在实体实验中获得了更高的奖励。
未来的工作将探索学习语言条件下的稠密奖励函数，以提供比稀疏的指令完成奖励更丰富的中间反馈。这类能够反映任务进展的信号或许可以改善强化学习后训练中的信用分配和样本效率，尤其是在长时域任务中。
常见问题
TEMPO是什么？ TEMPO是一种面向视觉-语言-动作模型的语义-动作解耦强化学习后训练框架。
TEMPO优化哪些VLA组件？ TEMPO在冻结预训练视觉-语言骨干网络的同时，适配语义投影层并优化动作专家。
TEMPO如何协调模块适配？ 它以较低频率更新语义投影层，以较高频率更新动作专家。
TEMPO在哪里进行了评估？ TEMPO在CALVIN和两项真实世界操控任务上进行了评估，后者使用Synria Alicia-D机械臂完成。