研究人员开发了FabriVLA，一种紧凑的视觉-语言-动作模型，在Meta-World MT50基准测试的50个不同机器人操作任务中达到了92%的成功率。该模型使用10亿参数的视觉语言骨干网络结合流匹配动作头，并通过单阶段端到端训练。这证明精确的多任务操作并不需要庞大的、拥有数十亿参数的VLM。
目录
研究人员构建了什么
FabriVLA是一种轻量级视觉-语言-动作（VLA）模型，专为精确的多任务机器人操作而设计。它由三个主要组件组成：InternVL3.5视觉语言骨干网络（约10亿参数）、一个处理末端执行器位姿和物体位置的状态编码器，以及一个生成动作序列的流匹配动作头。
动作头包含两个新颖的设计元素。门控自注意力允许不同时间步的动作token通过一个可学习的门控相互关注，该门控初始化为关闭状态，并在训练过程中逐渐打开。这有助于模型在50步动作视野内捕捉时间依赖关系，而不会破坏早期优化的稳定性。浅层VLM层融合将最终的VLM层与一个中间层结合，向动作头同时暴露高层语义上下文和低层空间细节——这对于精确定位和接触密集型任务至关重要。
FabriVLA在Evo-1 Meta-World数据集（50个任务共2500条轨迹）上进行单阶段训练。所有参数（包括VLM骨干网络）从一开始就解除冻结并联合优化。整个模型可在一块GPU上运行，不需要许多当代VLA模型所使用的数十亿参数骨干网络。
关键结果
在Meta-World MT50基准测试（涵盖四个难度级别的50个操作任务）上，FabriVLA的层级平均成功率达到90.0%，整体回合成功率达到92.0%。模型在所有难度级别上表现一致：
| 难度级别 | 成功率 |
|---|---|
| 简单 | 95.0% |
| 中等 | 88.2% |
| 困难 | 86.7% |
| 非常困难 | 90.0% |
| 层级平均 | 90.0% |
| 整体回合 | 92.0% |
一项受控的消融研究（为效率考虑冻结VLM骨干网络）表明，门控自注意力机制是关键组件。在基础动作头中加入门控自注意力将层级平均成功率从48.5%提升到57.7%，整体回合成功率从55.4%提升到66.9%。在完整模型中，浅层VLM层融合进一步贡献了提升，使仅使用深层特征的基线在层级平均和整体得分上分别提高了7.1和5.2个百分点。
工作原理
FabriVLA将动作生成视为一个流匹配问题。它并非直接预测动作，而是学习一个时间依赖的向量场，将均匀噪声平滑地转换为专家动作块。动作头预测一个50步的动作视野（动作块），并以滚动视野方式执行。
门控自注意力实现为一个Transformer块，其中动作token可以相互关注，但注意力通过一个初始化为零的可学习标量门控。训练开始时，门控关闭——该块仅表现为交叉注意力，每个动作token仅关注VLM上下文。随着训练进行，门控打开，逐步允许模型学习跨步骤依赖关系。这避免了随机初始化的动作token从一开始就相互关注时出现的优化困难。
浅层VLM层融合将最终VLM层的输出与一个中间层（InternVL3.5的第6层）拼接。最终层提供任务级推理所需的丰富语义理解，而中间层保留用于精确定位和接触的低层空间特征。融合后的表示被输入动作头的交叉注意力机制。
状态编码器使用一个带有ReLU激活函数的两层MLP，将机器人状态（末端执行器位姿、夹爪状态、物体位置）编码为一个token，并附加到VLM上下文序列前。训练在单GPU上进行，采用混合精度和DeepSpeed ZeRO-2优化，共运行150k步。
对机器人的意义
FabriVLA表明，仅有10亿参数骨干网络的VLA模型可以在多任务操作基准测试中达到或超越更大模型的性能。这对成本和部署有直接影响。更小的模型需要更少的GPU内存，更低的推理延迟，并且可以在边缘硬件上运行——使其适用于现实世界的机器人应用。
该架构是模块化的：流匹配动作头、门控自注意力和层融合都是可迁移的设计选择，可以应用于其他VLM骨干网络。这为轻量级模型开辟了道路，这些模型可以在较小数据集上训练，并为特定任务微调，而无需巨大的计算预算。
对于评估二手工业机器人或仓库机器人的机器购买者和工程师来说，像FabriVLA这样紧凑的VLA可以在不需要最新高端GPU的情况下实现多任务能力。这也表明未来一代机器人可能通过相对适中的板载计算实现通用的操作能力。
局限性与开放问题
所有评估均在模拟环境（Meta-World）中进行；现实世界的迁移仍有待证明。基准测试仅涵盖50个任务，虽然多样，但并未涵盖工业操作场景的全部广度。动作视野固定为50步，对于需要数百个动作的长视野任务可能不足。
消融研究是在冻结VLM骨干网络和减少训练步数的情况下进行的，因此门控自注意力在完整联合训练模型中的相对贡献可能与报告的数字有所不同。此外，模型在未见任务上的表现（零样本泛化）未被探索。
最后，FabriVLA使用特定的VLM骨干网络（InternVL3.5）。目前尚不清楚这些设计选择对其他骨干网络的泛化程度，以及为何选择第6层进行浅层融合。
常见问题解答
FabriVLA与其他VLA模型有何不同？ FabriVLA使用带有门控自注意力和浅层层融合的流匹配动作头，所有组件在不冻结的情况下联合训练，仅使用10亿参数的VLM骨干网络即可实现高性能。
FabriVLA与使用更大骨干网络的模型相比如何？ FabriVLA在Meta-World MT50上达到或超越了许多更大VLA模型的报告结果，尽管使用了相对较小的视觉语言模型，但仍实现了92%的整体成功率。
FabriVLA可以部署在真实机器人上吗？ 目前的工作仅限于模拟，但模型的小尺寸（10亿参数）使其成为在边缘硬件上进行实际部署的有力候选。真实机器人实验是自然的下一步。
FabriVLA处理哪些任务？ 它执行Meta-World MT50套件中的50个任务，范围从简单的抓取和推动到复杂的开门、插销和螺母组装。
结论
FabriVLA以轻量级架构在多任务操作上取得了最先进的结果，不依赖庞大的VLM。其门控自注意力和浅层层融合设计是实用的贡献，可能影响未来VLA模型的发展。该模型证明紧凑、高效的VLA模型能够提供精确的多任务操作性能。
10亿参数的VLA模型能否在现实世界机器人中取代更大模型？