本文介绍了一种预训练方法，通过构建共享的视频-动作潜空间，使机器人能够从大规模视频数据中学习控制策略，而无需机器人动作标签。首先训练一个语义视觉-动作分词器，将视觉观测和机器人动作压缩到统一的离散潜空间中；然后在该空间上预训练一个因果视频-动作模型，用于预测未来视觉潜变量以及连接它们的潜动作。
视频-动作模型预训练与推理
在语义视觉-动作分词器的基础上，第二阶段在共享的视频-动作潜空间上预训练因果视频-动作模型。该模型分为两个层级：高层规划器将语言目标分解为子任务并跟踪进度，低层视频-动作策略通过预测未来视觉潜变量和连接它们的潜动作来实现每个子任务。策略以块为单位操作，因此索引范围覆盖块而非单个帧。
虽然视频-动作策略处理单个子任务内的连续控制，但长时域任务需要将高层目标分解为子任务，跟踪当前激活的子任务，并决定何时切换到下一个。规划器实现为一个预训练的视觉语言模型（VLM），经过微调后为策略提供结构化的子任务上下文。VLM骨干网络天生具备视觉-语言对齐能力，使规划器能够从稀疏视觉观测中评估任务状态，无需从头学习场景理解。
规划器-策略解耦
规划器和策略以不同频率运行，通过异步共享缓冲区解耦。规划器以后台低频率运行，将结构化子任务上下文写入缓冲区；策略在每个动作块边界读取最新上下文作为其条件信号。这确保了规划器推理延迟不会阻塞策略的执行循环。
结构化规划器输出
规划器的输出格式必须与视频-动作策略在训练时看到的条件字段完全匹配；任何不匹配都会导致策略在推理时收到分布外条件。在此约束下，规划器输出定义为包含四个字段的结构化JSON：
- done：完成信号，指示当前子任务是否应继续，或规划器是否应切换到下一个子任务。
- instruction：当前或下一个子任务的紧凑执行指令，例如“拿起桌子上的红色瓶子”。这是策略在训练时使用的主要条件字段。
- generation_instruction：对子任务内预期机器人运动和物体交互的更丰富描述，为策略提供更具体的执行提示。
- local_scene_description：基于观测的空间布局和物体状态描述，为策略提供局部上下文。
done字段仅由高层调度器用于决定是保留还是刷新当前子任务。低层策略以三个文本字段为条件：instruction提供紧凑命令，而generation_instruction和local_scene_description在可用时提供更详细的动作和场景上下文。
数据配方
LingBot-VA 2.0 的训练遵循多任务课程：通用文本到图像预训练、通用文本到视频预训练，最后在具身数据上进行视频-动作适配。
通用图像和视频数据
对于通用文本到图像和文本到视频预训练阶段，复用为 LingBot-Video 整理的图像和视频语料库。这些互联网规模的图像和视频数据在视频-动作适配前提供了广泛的外观和动态先验。
机器人数据
所有机器人数据均通过统一的标注流程重新处理。每个长轨迹被分割为原子动作片段，每个片段使用 Qwen3.5-397B 分配语言提示和全局任务指令。此重新标注步骤修复了早期版本中缺失或过于通用的提示，并使跨本体和数据集的语言监督更加一致。
仿真评估
模型在 RoboTwin（一个包含干净场景和领域随机化设置的双臂操作基准）上评估，并报告相对于代表性基线方法的任务成功率。遵循 LingBot-VA，采用多任务训练设置：所有模型在干净场景收集的 2,500 个演示（每个任务 50 个）加上高度随机化场景的 25,000 个演示（每个任务 500 个）上进行训练。
消融研究
为隔离分词器的影响，每个变体从头训练一个 1.3B 视频-动作模型。WAN2.2 VAE 基线和提出的分词器使用相同数量的 token 训练，并用于初始化相同的下游架构。然后应用相同的 RoboTwin 后训练，在官方 Easy 和 Hard 划分上评估成功率。
分词器消融表明，用提出的分词器替换基于重建的 WAN2.2 VAE 持续改善 RoboTwin 性能，且预测时域越长收益越大，这表明语义视觉-动作分词器保留了对世界-动作建模和下游控制更有用的状态信息。
结论
仍有若干开放方向。规划器和策略目前分别训练并通过固定接口耦合；更紧密的联合训练可能进一步提升长时域一致性。潜动作空间是从被动视频中学习的，交互或强化信号可使其对控制更敏锐。最后，扩展预训练语料库和稀疏骨干网络的规模，以及将具身覆盖范围扩展到双臂操作之外，是迈向通用具身基础模型的自然步骤。
贡献者
Zelin Gao, Wei Wu, Kecheng Zheng, Ruonan Zhang, Han Zhang, Jingmei Zhao, Yongtao Huang, Haitao Wang, Jingjing Wang, Chen Song
常见问题
推理过程中规划器如何与策略通信？ 规划器在后台异步运行，将结构化JSON上下文写入共享缓冲区，策略在每个动作块边界读取该缓冲区而不阻塞执行。
三阶段训练课程使用了哪些数据？ 模型使用互联网规模的图像和视频数据进行通用预训练，随后使用经 Qwen3.5-397B 统一标注流程重新处理的机器人数据进行语言重标注。
分词器消融是否显示出优于标准VAE重建的优势？ 是的，语义视觉-动作分词器在RoboTwin上持续优于WAN2.2 VAE基线，预测时域越长收益越大。
使用了哪种基准进行评估？ 在RoboTwin（一个双臂操作基准，包含干净和领域随机化设置）上评估，度量Easy和Hard划分的任务成功率。