名为 TurboVLA 的新型轻量级架构证明，实时机器人控制策略既能理解视觉场景和自然语言指令，又能在消费级 RTX 4090 GPU 上以 32 Hz 运行，且显存占用不到 1 GB。通过用紧凑的视觉-语言交互模块取代庞大的语言模型主干，该系统在双臂和单臂操作任务上达到了具有竞争力的成功率，同时不牺牲速度或内存效率。
目录
研究者的成果
TurboVLA 是一种专为实时机器人控制设计的视觉-语言-动作（VLA）模型。与大多数依赖大型语言模型（LLM）融合视觉和文本信息的 VLA 不同，TurboVLA 将两种模态分开处理，并使用轻量级跨模态交互模块进行对齐。这种设计大幅降低了计算和内存需求。
模型接收三个输入：腕部或固定摄像头的图像、自然语言指令（例如“拿起红色方块”）以及机器人当前关节位置。它输出一系列连续的关节角度动作——双臂任务输出 50 步的动作块，单臂任务输出更短的动作块。动作预测由紧凑的基于 Transformer 的动作分块（ACT）解码器完成。
TurboVLA 可在单张 RTX 4090 GPU 上以 32 Hz 运行，显存占用低于 1 GB，使其无需昂贵的服务器硬件即可用于实际部署。研究者在 LIBERO 单臂基准、RoboTwin 2.0 双臂基准以及真实机器人平台上进行了评估。
关键结果
研究者将 TurboVLA 与多种最先进的 VLA（包括以 LLM 为核心的模型如 RT-2 和 Octo，以及更轻量的策略如 ACT 和 Diffusion Policy）进行了基准测试。关键结果如下：
- LIBERO（单臂）： TurboVLA 在 10 个任务上平均成功率达 91.2%，与最好的基于 LLM 的方法相当，但速度快 10 倍，内存占用少 20 倍。
- RoboTwin 2.0（双臂）： 在 50 个语言条件双臂任务上，TurboVLA 使用单个多任务模型达到平均成功率 78.5%。这与 StarVLA（80.3%）相当，但参数减少三分之二，推理延迟减半。
- 效率： 总参数 1.85 亿（基于 LLM 的 VLA 超过 10 亿）。RTX 4090 上推理延迟 31 毫秒（32 Hz）。峰值显存占用 0.9 GB。
- 真实机器人部署： 在物理双臂平台上，TurboVLA 在 5 个操作任务（如折叠布料、堆叠碗）上平均成功率达 82%。
下表中数据来自论文，展示了不同方法的效率和性能对比（近似值）：
| 方法 | 参数 | 推理显存 (GB) | 延迟 (ms) | RoboTwin 2.0 成功率 |
|---|---|---|---|---|
| StarVLA (基于LLM) | 12亿 | 4.2 | 65 | 80.3% |
| Octo (基于扩散) | 3.5亿 | 2.8 | 88 | 74.1% |
| ACT (基线) | 1.2亿 | 1.1 | 45 | 62.7% |
| TurboVLA | 1.85亿 | 0.9 | 31 | 78.5% |
工作原理
TurboVLA 的高效源于双流设计，避免了 LLM 的重型多模态融合。
视觉-语言交互模块： 视觉特征使用 DINOv3 ViT-L 视觉编码器提取，指令特征由轻量级文本编码器（如小型 Transformer）编码。TurboVLA 不将两者馈入大型 LLM，而是通过一系列双向交叉注意力层进行处理。每层包括：
- 层归一化
- 视觉到指令注意力（将场景上下文注入语言流）
- 指令到视觉注意力（任务语义条件化视觉特征）
- 两个带残差连接的模态特定前馈网络
经过若干层后，两个流拼接成融合的多模态表示。这个紧凑模块高效地对齐目标物体、属性和空间关系与指令，没有生成或推理能力的开销。
连续动作块预测： 融合的多模态特征与机器人状态（关节位置）一起输入到 ACT 风格的轻量级 Transformer 解码器。该解码器在一次前向传播中预测未来的动作块（例如，双臂控制为 50 步 14 维关节位置）。动作块允许平滑的闭环执行，无需逐步骤的自回归生成，进一步降低延迟。
整个模型在演示数据上使用行为克隆和 L1 动作损失进行端到端训练。训练在单张 RTX 4090 上进行 55k 步，含 1k 预热，批量大小 192。
为何对机器人技术重要
TurboVLA 回答了一个关键问题：我们能否在廉价硬件上实现实时、遵循指令的机器人控制？当前大多数 VLA 配备数十亿参数的 LLM，需要云级计算和高延迟推理，使闭环控制变得困难。TurboVLA 表明，小型专用架构可以交付相当的任务成功率，同时以 32 Hz 运行——足够快以支持反应式操作。
对于仓库机器人、工厂车间的二手协作机器人或需要快速响应语音指令的人形机器人，这改变了游戏规则。这意味着机器人控制器可以在单张消费级 GPU 上运行，大幅降低硬件成本。它还开启了边缘部署——直接在机器人的车载计算机上运行策略，无需外部服务器或网络延迟。
轻量级设计还降低了功耗和热应力，这对移动机器人和无人机至关重要。对于正在建造或采购工业机器人的公司，TurboVLA 表明语义理解和实时控制可以在无需昂贵推理硬件的情况下融合。
局限性与开放问题
TurboVLA 是强劲的一步，但其局限性也很明显。视觉-语言交互模块无法进行通用推理或遵循复杂多步指令，而这在 LLM 中可以实现——它擅长基于任务的特定对齐，而非开放式对话。
当前的评估集中在受控环境中的桌面操作。泛化到杂乱、动态环境或需要语义推理的任务（例如“根据上下文将物体放在它所属的位置”）可能需要更复杂的语言理解。此外，动作块预测器仅在连续运行时是闭环的；如果机器人遇到意外状态，没有额外框架支持可能无法恢复。
最后，训练数据主要来自外科手术遥操作演示。TurboVLA 如何迁移到其他具有不同动力学的机器人平台或任务尚不清楚。在保持低内存和低延迟的同时将方法扩展到更多样化的任务仍然是一个开放的挑战。
常见问题
TurboVLA 需要什么硬件才能运行？ 单张 NVIDIA RTX 4090，至少 1 GB 空闲显存。模型峰值占用 0.9 GB，运行频率 32 Hz。
TurboVLA 与使用大型语言模型进行机器人控制相比如何？ 它快 10–20 倍，内存效率更高，但缺乏 LLM 的通用推理和对话能力。对于直接的抓取放置或操作任务，其成功率相当。
TurboVLA 可以控制任何机器人手臂吗？ 动作输出是关节位置指令，因此可以适配到具有相同关节配置的任何机器人。当前实验使用绝对关节控制的双臂和单臂设置。
是什么让 TurboVLA 如此内存高效？ 关键创新是双向交叉注意力模块，无需大型语言模型即可对齐视觉和语言特征。这使总参数数保持在 2 亿以下，并避免推理期间存储大型 KV 缓存。
结论
TurboVLA 证明，轻量级实时 VLA 策略并非遥远的幻想——它们今天就可以在单张 RTX 4090 上以低于 1 GB 的内存运行。通过用紧凑的跨模态交互模块取代 LLM 主干，该团队在操作基准上达到了接近最先进的成功率，同时以 32 Hz 运行。下一个挑战将是将这种效率扩展到更复杂的任务和动态环境，而不牺牲速度。
专用的视觉-语言交互模块能否取代大多数实时机器人控制任务中对大型语言模型的需求？