VFlash可并行生成结构化视觉计划，例如物体位置和机器人轨迹，无需逐个 token 解码每个坐标。在未来点预测测试中，其单次生成速度约为自回归解码的 23–26 倍；研究人员还报告称，直接生成视觉草案也能减少机器人轨迹误差。
目录
研究人员开发了什么？
VFlash是一种让视觉语言模型更快生成结构化空间答案的方法。这些答案称为视觉原语，包括图像框、二维路径、三维物体点和机器人轨迹等。它们很有用，因为机器人往往需要的不只是场景描述，还需要能输入后续规划与行动系统的坐标或路径。
许多语言模型会逐个 token 生成坐标序列。因此，包含多个点的轨迹可能需要许多连续解码步骤。VFlash则利用了原语的已知结构。例如，边界框包含固定的一组坐标字段，而轨迹是具有特定格式的点序列。系统会在一次计算中预测完整的原语块。
研究人员针对多种空间输出测试了VFlash，包括边界框、二维轨迹、三维机器人轨迹和稠密运动——即预测选定点在视频帧之间的移动。他们还探索了利用预测出的空间计划支持物体操控。该方法旨在与现有视觉语言模型协同工作，只需增加一个相对浅层的草拟组件，而不必替换整个模型。
VFlash取得了哪些成果？
报告材料中最明确的定量结果是稠密运动预测的速度。在单张 H100 GPU、批量大小为一的单次生成对比中，VFlash生成预测耗时为 3.21 至 3.86 秒，而自回归生成耗时为 79.8 至 99.6 秒。在三个数据集上，速度提升分别为 23.5 至 26.4 倍。
| 稠密运动数据集 | VFlash单次生成 | 自回归单次生成 | 报告的加速比 |
|---|---|---|---|
| HOT3D | 3.21 s | 79.8 s | 24.8× |
| WorldTrack | 3.86 s | 90.6 s | 23.5× |
| DAVIS | 3.78 s | 99.6 s | 26.4× |
评估还涵盖了用于二维路径的 200 个 ShareRobot-Bench 查询和 300 个 VABench-V 查询。对于三维机器人轨迹，模型在 1,000 条 InternA1 记录、999 条 AgiBot 记录和 4,221 条 MolmoBot 记录上接受了测试。边界框生成则使用了 4,952 张 COCO 验证集图像和 200 张 Dense200 图像。
论文结论称，直接生成草案可以减少机器人轨迹误差，但所提供的结果没有列出相应的数值误差。因此，这些速度数据表明解码效率有显著优势，但依据此处报告的数字，无法精确比较速度与准确性。
VFlash如何工作？
VFlash包含两个模型组件。首先，对一个自回归视觉语言模型进行适配，使其能按指定格式生成空间响应。随后冻结该模型，并使用其特征训练一个浅层、非因果的草拟器。“非因果”意味着草拟器可以同时预测一个块中的多个位置，而不必等待前一个位置生成完毕。
其训练方式不同于普通的推测解码。在典型的推测解码中，较小的模型负责起草 token，再由较大的目标模型检查这些 token 是否与其自身的下一个 token 预测相符。VFlash则直接使用标注坐标或渲染后的空间网格训练草拟器。其目标是让草案在空间上有用，而非复制目标模型的确切措辞或 token 序列。当答案同时包含文本和空间数据时，采样得到的文本块也会用于训练草拟路径。
推理时，VFlash首先使用 16 个位置的草拟块，直到遇到原语起始 token。随后，它读取原语声明的模式，并在一次计算中预测整个结构化块。约束条件会将每个位置限制在合法取值范围内——例如，坐标字段只能包含坐标 token——并检查不同位置之间的关系，例如某个点是否落在图像边界之外。这些检查直接作用于已计算出的预测，因此无需再运行一次神经网络。
之后，验证器会判断提议的原语是否可接受。边界框还会经过额外的空间置信度保护机制。如果边界框的坐标预测存在不确定性，系统可以使用受约束的自回归解码重新生成受影响的部分。必要时，这种回退机制会以牺牲部分速度为代价，换取更谨慎的结果。
VFlash为何对机器人技术很重要？
机器人经常需要空间预测作为从感知场景到采取行动之间的中间步骤。物体操控系统可能需要物体位置或穿过场景的路径；移动机器人则可能需要未来轨迹。如果生成这些预测需要大量连续解码步骤，模型就可能成为规划循环中的瓶颈。
VFlash旨在通过减少原语规模增大时所需的连续步骤来缓解这一瓶颈。其计时结果对于基于视频的运动预测尤其相关，因为系统需要预测未来多帧中的多个点。更快的生成可以为控制周期中的感知、安全检查或重新规划留出更多时间。但仅凭这一点并不能保证机器人行为安全或成功：下游系统仍需检查预测是否可实现、是否合适。
这项工作还展示了视觉语言模型与具身系统之间一种灵活的接口。结构化边界框、点和轨迹可以传递给不同的规划或控制组件，而不只是作为自由文本使用。探索实体平台的团队可以浏览 Robot Overflow 上的人形机器人，运营团队则可以对比仓储机器人，以寻找视觉规划与运动紧密相关的应用方案。
VFlash有哪些局限？
解码速度快并不意味着计划必然准确或可执行。模式验证器可以发现格式错误的坐标，但格式正确的轨迹仍可能有误、在物理上无法到达或不安全。针对边界框的置信度保护机制为不确定预测提供了回退方案，但报告的方法并未证明同一置信度策略对所有类型的原语都同样有效。
速度对比也受特定设置限制：一张 H100 GPU、批量大小为一，以及选定的稠密运动数据集。其他硬件、工作负载、批量大小或部署运行时可能产生不同结果。论文介绍了在多个轨迹和边界框基准上的评估，但所提供的文本没有列出大多数基准对应的数值准确率结果。仍需进一步测试，才能判断在多样场景和真实运行条件下，速度提升能否与可靠性能并存。
读者有哪些关于VFlash的疑问？
VFlash会生成什么？ 它会生成结构化视觉输出，例如边界框、二维路径、三维点和机器人轨迹。
VFlash如何提升速度？ 它并行预测完整的空间原语，而不是逐个坐标进行解码。
VFlash是否完全避免自回归解码？ 不是。不确定的边界框预测可以通过受约束的自回归解码重新生成。
预测更快是否能保证机器人表现更好？ 不能。机器人仍需验证预测是否准确、安全且可执行。
VFlash展示了模型如何利用空间输出的结构，以更少的连续步骤生成结果。其稠密运动计时结果颇具潜力，而更广泛的准确性与部署证据将决定这种方法在高要求机器人工作流中的实用价值。
哪种机器人任务最能受益于更快的视觉规划？