最近的视觉-语言-动作（VLA）模型有一个隐藏的弱点：它们常常依赖视觉线索，而非真正理解语言指令。一种名为LA4VLA的新预训练方法在训练过程中完全去除视觉信息，迫使机器人在词语和动作之间建立直接联系——结果实现了显著更鲁棒的指令跟随能力。
目录
研究团队构建了什么
LA4VLA（Language-Action for Vision-Language-Action）背后的团队从一个诊断实验开始。当他们交换或移除标准VLA策略的视觉输入时，机器人遵循语言指令的能力急剧下降——尽管指令本身保持不变。这证明典型的VLA训练并未真正将动作扎根于语言；它只是记忆了视觉模式。
为了解决这个问题，他们构建了一个名为LA4-33K的数据集，包含33,000个完全移除视觉观测的片段。每个片段是一个短小的“原子动作”段——例如“按下红色按钮”或“向左滑动”——仅与语言指令、机器人关节状态和运动轨迹配对。他们通过以下方式构建：利用大规模DROID数据集（10,000+小时机器人演示），使用视觉语言模型（Qwen-3-VL-Plus）将长演示分割成小块，然后移除所有图像。结果是一个精简、无视觉的训练信号，教会机器人直接将词语与运动连接起来。
关键结果
LA4VLA在基准测试、架构和真实机器人上均带来一致改进。在MetaWorld任务上，一个1B参数模型通过LA监督和VLA数据混合预训练（MixPT）达到平均成功率87.53%，而仅LA预训练为83.00%，无预训练则远低得多。在LIBERO基准上，LA-VLA顺序预训练达到96.28%，高于仅LA的95.30%。
在视觉噪声干扰下，改进更为显著。无预训练的标准VLA策略在视觉扰动下仅达到27.5%的成功率。VLA预训练将其提升至42.5%，但仅LA预训练达到67.5%，MixPT达到70.0%。
| 预训练方法 | MetaWorld平均成功率 | LIBERO平均成功率 | 鲁棒性（噪声） |
|---|---|---|---|
| 无预训练 | 58.39%（StarVLA基线） | 93.70% | 27.5% |
| 仅VLA预训练 | N/A | N/A | 42.5% |
| 仅LA预训练 | 83.00%（1B模型）/ 69.91%（StarVLA） | 95.30% | 67.5% |
| LA-VLA顺序预训练 | 86.75% | 96.28% | N/A |
| MixPT（LA+VLA混合） | 87.53% | 95.75% | 70.0% |
架构迁移同样奏效：用LA预训练StarVLA将其MetaWorld性能提升了11.52个百分点（从58.39%到69.91%），最困难的任务提升了30个百分点。
工作原理
LA4VLA分为三个阶段：数据集构建、预训练和下游微调。
数据集构建。 团队使用Qwen-3-VL-Plus将DROID数据集中的9,560个片段分割成短原子动作区间。VLM接收视频帧、任务描述和关键帧事件，输出一个JSON列表——每个列表包含一个原始标签（例如“推”、“抓”、“滑”）、一个视觉无关的指令以及开始/结束时间戳。每个片段仅消耗4.63K输入token，使其在大规模应用中可行。然后由人类标注员验证并细化提议。
预训练。 在LA预训练期间，模型仅接收语言指令和机器人本体感知状态（关节位置、夹爪状态）以及动作轨迹。视觉观测被完全遮蔽。模型使用流匹配动作头来预测连续动作序列。这迫使策略建立直接的语言到动作映射，而不依赖视觉捷径。
与VLA集成。 最佳结果来自顺序LA→VLA预训练或单阶段混合LA和VLA数据（MixPT）。在顺序方法中，模型首先学习语言-动作映射（无视觉），然后启用视觉进行微调。在MixPT中，两种类型的批次在一次预训练运行中交错进行。
真实世界部署。 在配有平行夹爪和两个RGB摄像头的UFactory xArm6上，一个多任务检查点在90个遥操作演示（每个任务30个：按压按钮、放置书、放置饮料）上进行微调。LA预训练策略在所有三个任务上均优于标准VLA策略，尤其在噪声或遮挡视图下。
对机器人学的意义
当前一代VLA模型训练成本高昂，需要大规模视频数据集，但它们在相机角度变化、光照变化或传感器退化时仍然失败。LA4VLA表明，将语言-动作学习与视觉分离可以减少这种脆弱性。对于在真实仓库中部署人形机器人或二手工业机器人的机器人购买者和工程师而言，这意味着策略能够处理脏镜头、光线不足或临时相机黑屏而不会崩溃。
该方法还降低了数据需求：LA4-33K完全从现有数据集构建——无需新的机器人运行。这使得鲁棒的指令跟随能力对没有大规模数据收集预算的小团队变得可行。由于预训练的语言-动作映射可跨架构迁移，它是任何VLA模型的即插即用改进，从研究原型到仓库机器人皆可。
局限性与未解问题
LA4VLA依赖于高质量VLM进行时间分割——如果VLM错误标记了原子动作，噪声会传播到预训练策略中。人工验证增加了瓶颈。该数据集目前仅限于DROID和类似的桌面操作任务；尚不清楚该方法是否能扩展到移动操作或人机交互。此外，该方法在数据集构建期间仍需一些视觉数据（以驱动VLM分割），因此并非从一开始就完全视觉无关。最后，实验中使用的十亿参数模型对于边缘部署来说过大——需要量化和蒸馏才能在嵌入式控制器上实时使用。
常见问题
LA4VLA究竟从训练数据中移除了什么？ 它移除了所有相机图像和视频帧，仅保留语言指令、机器人关节状态和指令动作轨迹。视觉在之后的微调中重新引入。
LA预训练如何提高对视觉噪声的鲁棒性？ 通过迫使策略学习直接的语言到动作映射而不依赖视觉捷径，模型变得不那么依赖干净、一致的视觉输入。当视觉后来加入时，策略能够处理扰动而不丢失指令跟随能力。
我可以在现有VLA模型上使用LA4VLA吗？ 可以——该方法与架构无关。论文在InternVL3和StarVLA上均证明了成功。你可以在LA4-33K数据集上预训练你的模型（或构建自己的LA片段），然后在特定任务上进行微调。
LA4-33K数据集是否公开可用？ 论文称该数据集基于公开可用的DROID数据集构建，但未明确确认LA4-33K片段的开放发布。请联系作者获取访问详情。
结论
LA4VLA揭示了当前VLA训练的一个关键缺陷：模型通过依赖视觉模式假装遵循指令。通过在无视觉的语言-动作片段上预训练，LA4VLA迫使模型真正将词语与运动连接起来。结果是一个更鲁棒、更忠实于指令的策略，可跨架构迁移，并在传感器噪声下优雅地退化。
你能信任一个从未在无视觉条件下练习遵循指令的VLA模型吗？