常见的预训练VLA模型将视觉-语言模型（VLM）与基于流匹配的动作专家（AE）相结合。在去噪过程中，策略以带噪声的动作块 [去噪预测的数学表达式] 为条件。通过大规模预训练，VLM获得了通用的视觉-语言表征，而AE则学习了可复用的动作生成运动先验。这些互补的预训练能力构成了下游任务适应的基础。
问题形式化
PriorVLA旨在解决将预训练的视觉-语言-动作（VLA）模型适应下游任务的挑战，同时保留大规模预训练中获得的一般性知识。当对狭窄的下游数据集进行微调时，VLA模型可能丢失预训练的运动先验和视觉定位能力，从而损害分布外（OOD）泛化。
双动作专家
预训练的AE包含其去噪动态中编码的可复用运动先验，但全微调可能将这些先验向狭窄的训练分布动作模式偏移。PriorVLA通过将预训练的AE分支为双动作专家，将先验保留与下游特化解耦。
先验专家作为运动先验的只读源：其冻结权重保留预训练的运动知识，而其内部去噪表征为适应策略提供运动先验特征。
专家查询
结构分离保留了预训练的AE，但并未使其先验可用于下游动作生成。由于预训练先验分布在层和去噪步骤中，PriorVLA引入了专家查询，作为附加到不同功能路径的可学习令牌接口。它们包含三组：
- 场景查询：可学习令牌，插入到VLM输入序列中，从VLM表征中捕获任务相关的场景先验。其逐层的键值缓存为适应专家提供了紧凑的场景先验接口。
- 运动查询：可学习令牌，插入到冻结的先验专家中，从其去噪表征中捕获运动先验。
- 动作查询：可学习令牌，插入到适应专家中，整合场景和运动先验以生成下游动作。
注意力掩码实现
注意力掩码采用块结构实现，其中同一块内的令牌使用双向自注意力，而后面的块可以关注前面的块，反之则不行。对于冻结的先验专家，带噪声的动作令牌遵循原始预训练的动作路径，不允许关注运动查询。运动查询可以关注先验专家的带噪声动作令牌，但被阻止关注VLM前缀或场景查询，确保它们专注于运动先验特征而非场景特征。
对于可训练的适应专家，动作查询和带噪声的动作令牌共享双向交互。适应专家关注原始VLM特征、场景查询特征和运动查询特征，但不关注原始先验专家的动作状态，这提高了训练稳定性。
训练
PriorVLA优化完整的适应专家、三组专家查询以及VLM视觉编码器，同时保持所有其他VLM参数和先验专家冻结。总体而言，PriorVLA更新的参数约为全微调更新参数的25%。这保留了冻结VLM组件和先验专家中的预训练先验来源，同时允许视觉编码器和适应分支特化于下游数据。
基础VLA骨干网络
PriorVLA构建在预训练的VLA骨干网络上，该网络将VLM与流匹配动作专家相结合。VLM由SigLIP风格的视觉编码器和Gemma-2B语言骨干组成，编码多视图图像、语言提示和本体感受状态。动作专家采用Gemma-300M风格的Transformer架构，对未来的动作块进行去噪以实现连续动作生成。
双动作专家实现
先验专家和适应专家均从预训练的AE初始化。先验专家被冻结，作为运动先验表征的只读源，而适应专家是可训练的，驱动生成最终动作块的去噪轨迹。在每个去噪步骤中，两个专家接收相同的当前带噪声动作块。先验专家的去噪输出被丢弃（不用于损失），但其内部表征通过运动查询暴露。
专家查询实现
PriorVLA使用三组可学习的专家查询：
- 场景查询作为额外的输入令牌提供给VLM，与多视图图像令牌、提示令牌和本体感受状态令牌一起。它们捕获场景先验特征。
- 运动查询作为额外的输入令牌在每个去噪步骤提供给冻结的先验专家。它们读取运动先验特征而不更新带噪声的动作轨迹。
- 动作查询作为额外的输入令牌在每个去噪步骤提供给可训练的适应专家。它们整合场景先验和运动先验特征，以指导适应专家的去噪预测。
超参数
在所有实验中，PriorVLA使用AdamW，全局范数梯度裁剪为1.0。可训练参数以float32优化，冻结的预训练参数以bfloat16存储。除非另有说明，所有运行使用随机种子42。PriorVLA对四个参数组应用分组学习率乘数：
| 参数组 | 学习率乘数 |
|---|---|
| 场景查询 | 2.0 |
| 运动查询 | 4.0 |
| 动作查询 | 4.0 |
| 其余可训练参数 | 1.0 |
实验
为了全面评估PriorVLA，在RoboTwin 2.0、LIBERO以及跨两个机器人本体的八个真实世界任务上进行了实验。评估围绕五个问题展开：
- PriorVLA能否在完全微调和强VLA基线之上改善下游适应？
- 保留预训练先验是否提高了OOD泛化？
- 当下游数据覆盖有限时，优势是否更强？
- 这些增益能否跨本体和评估条件迁移到真实世界机器人？
- 增益是否由保留的预训练先验和可学习查询接口解释？
训练数据
对于RoboTwin 2.0，每个任务使用官方设置训练一个模型。从完整的50任务基准中使用了代表性的13任务子集。标准设置每个任务使用50个干净演示。少样本和大数据设置分别使用10和250个干净演示。
RoboTwin 2.0评估
对于RoboTwin 2.0，在用于训练的相同13个任务上，分别按官方Easy（分布内）和Hard（OOD）模式进行评估。评估最终30k检查点，每个任务每种模式进行300次 rollout，使用官方模拟器成功信号。
LIBERO评估
对于LIBERO，评估了四个套件：Spatial、Object、Goal和Long。每个套件包含10个任务，每个任务50次 rollout，总计每个套件500次 rollout。使用LIBERO的初始状态，成功由LIBERO环境信号衡量。策略每10个环境步骤重新规划，报告从20k步之后的最佳检查点。
真实世界评估
真实世界评估测试最终30k检查点，每个任务进行20次ID试验和20次OOD试验，无需重新训练。对于所有真实世界任务，策略预测长度为 [特定块长度] 的动作块，执行前15个动作，并用新观察重新查询策略。
为什么先验保留有助于OOD泛化
下游VLA适应中的分布外泛化具有挑战性，因为下游演示通常只覆盖有限的视觉条件、对象配置和工作空间布局范围。全微调直接用这种受限的监督更新预训练的动作生成路径，可能导致预训练表征和动作先验向狭窄的下游模式偏移。
PriorVLA通过将先验保留与下游特化解耦来缓解这一问题。冻结的先验专家保留预训练的动作生成路径，而适应专家则特化于下游动作生成。专家查询为使用保留的先验提供了可学习接口。这种设计使得当评估场景包含未见条件时，能够复用大规模预训练中学到的先验，例如以对象为中心的视觉定位、与可供性相关的场景理解以及一般的运动规律。
为什么先验保留有助于少样本适应
少样本适应放大了过特化的风险，因为少量下游演示仅覆盖狭窄的初始状态、视觉外观和成功动作轨迹。冻结的先验专家维持了一个稳定的运动先验特征源，而适应专家学习下游动作映射。专家查询作为可学习接口，用于选择和整合保留的先验。模型无需仅从少量数据中恢复所有相关结构；它可以复用预训练先验，并学习如何为下游任务整合它们。
更广泛的影响
PriorVLA旨在提高预训练机器人策略的数据高效适应。其潜在积极影响是减少下游适应所需的任务特定机器人数据量，降低开发成本，并在中等分布偏移下提高鲁棒性。潜在的负面影响可能包括：如果更强的机器人策略在未充分验证的情况下部署，可能导致在未见场景或危险环境下失败。该方法也可能被滥用于不适当的自动化场景。真实世界实验在受控实验室环境中进行，并采取了适当的安全措施。
消融研究
在代表性RoboTwin 2.0六个任务子集上进行消融，遵循相同的训练和评估协议。完整任务列表和每任务结果见附录。
结论与局限性
尽管PriorVLA在仿真和真实世界设置中展现了强大的适应能力，但仍有几个方面有待研究。RoboTwin 2.0结果是在代表性的13任务子集而非完整50任务基准上报告的，因为每个任务需要单独模型。在真实世界评估中，OOD因素联合应用，反映了部署类偏移，但未解耦单个效应。PriorVLA引入了额外的推理计算，因为冻结的先验专家在去噪过程中执行；尽管在块控制设置中可管理，但更高效的实现或缓存先验读出可以进一步降低成本。关于场景和运动先验如何在层和去噪步骤中出现、交互和演化的更精细分析仍是未来工作。
常见问题
Q1: PriorVLA解决了什么问题？ PriorVLA解决了将预训练的视觉-语言-动作（VLA）模型适应下游任务时，保留大规模预训练中获得的一般性知识的挑战，特别是在分布外泛化和少样本适应方面。
Q2: 双动作专家如何配置？ 先验专家被冻结，作为运动先验表征的只读源，而适应专家可训练，驱动生成最终动作块的去噪轨迹。两者从相同的预训练动作专家初始化。
Q3: 三种类型的专家查询是什么？ 场景查询从VLM捕获任务相关场景先验，运动查询从冻结的先验专家的去噪表征捕获运动先验，动作查询在适应专家内整合这两种先验以生成动作。
Q4: 训练期间更新多少模型参数？ PriorVLA更新约为全微调参数量的25%，保持所有VLM参数（除视觉编码器）和整个先验专家冻结。
Q5: 使用了哪些基准进行评估？ 在RoboTwin 2.0（13个任务）、LIBERO（四个套件：Spatial、Object、Goal、Long）以及跨两个机器人本体的八个真实世界任务上进行评估。
Q6: PriorVLA如何改进OOD泛化？ 通过保留冻结的先验专家作为来自大规模预训练的稳定运动先验源，PriorVLA使模型能够在评估条件与下游训练分布不同时复用通用运动和视觉知识。
PriorVLA的冻结先验保留方法能否用于视觉-语言-动作模型之外的其他模态？