扩展视觉-语言-动作模型,实现更快速、更强大的机器人控制

扩展视觉-语言-动作模型,实现更快速、更强大的机器人控制

Ruixi Yu, Dairu Liu, Xuchuan Chen, Zekun Qi, Zekai Li +7 位

1 分钟阅读•2026年11月17日

训练与推理

在此方法中,经过适配的骨干网络特征、机器人状态和机器人具身形态共同用于条件化动作预测。损失函数对有效动作维度和时间步上的平方误差取平均。状态值和动作值根据训练数据的第1和第99百分位数进行归一化。梯度仅用于更新动作头,因此骨干网络特征只需预先计算一次,便可在训练期间重复使用。

实验

研究对比了骨干网络参数量从2B到552B的视觉语言模型。实验测量仿真中的任务成功率和策略推理耗时,并改变示范数量以衡量样本效率。研究还在双臂机器人上评估了策略。

推理延迟

ScaleVLA 在每个动作块中通过一次前向传播读取视觉语言模型特征。推理延迟的测量区间为客户端发送观测到接收到动作块。

样本效率

研究在 LIBERO Goal 和 LIBERO Long 上改变每项任务的示范数量,同时将训练固定为5,000个优化器步骤。所有骨干网络使用相同的嵌套示范子集和评估初始状态。

在低数据量条件下,ScaleVLA 的表现始终优于较小的骨干网络,示范稀缺时优势尤为明显。每项任务仅有五个示范时,将骨干网络从2B扩展到552B,LIBERO-Goal 上的成功率几乎翻倍,从39.4%升至77.4%,在 LIBERO-Long 上也带来显著提升。值得注意的是,在 LIBERO-Goal 上,ScaleVLA 只需五分之一的示范数量,表现便超过2B基线。

这些结果表明,前沿规模的预训练表征为动作学习奠定了坚实基础,使策略能够利用有限的机器人示范数据有效学习。

ScaleVLA 评估任务与操作场景

真实机器人实验

为探究扩展视觉语言模型骨干网络的优势是否能从仿真延伸至现实世界,研究在双臂机器人上开展了真实场景实验。RoboDojo 中的 Plug In Charger 任务要求依次完成物体抓取、双臂交接,以及精准且接触密集的插入操作。这项任务为评估前沿规模的视觉表征能否同时提升多阶段操作与精细机器人控制,提供了具有挑战性的测试平台。

研究还评估了策略在空间扰动下的鲁棒性,以及在实体机器人上部署前沿规模视觉-语言-动作策略的实际可行性。

双臂机器人执行真实场景中的充电器插入任务

结论

ScaleVLA 通过采用流匹配训练的动作扩散 Transformer,将一个552B视觉语言模型的表征落地为连续机器人动作。在 LIBERO、LIBERO-PRO、RoboCasa 和 DexJoCo 上,性能随着骨干网络规模扩大而提升。在真实机器人上,552B骨干网络插入充电器的可靠性高于2B骨干网络。

当前沿特征面临机器人数据稀缺、条件变化或需要精准接触时,其价值最为突出;这些特征的速度也足以支持亚秒级控制,但所需硬件多于较小的骨干网络。这些结果表明,前沿视觉语言模型不仅可以充当推理智能体,也可以作为快速学习型机器人策略的表征基础。

常见问题

什么是 ScaleVLA? ScaleVLA 使用经流匹配训练的动作扩散 Transformer,将视觉语言模型表征落地为连续机器人动作。

评估中最大的骨干网络有多大? 最大的视觉语言模型骨干网络包含5520亿个参数。

示范数量较少时,扩展模型规模会如何影响性能? 每项任务有五个示范时,552B骨干网络在 LIBERO-Goal 上的成功率为77.4%,而2B骨干网络为39.4%。

ScaleVLA 是否在实体机器人上进行过测试? 是。它在双臂机器人上接受了评估,执行的 Plug In Charger 任务包含抓取、交接和插入操作。