研究人员开发了FlowWAM，这是一种世界动作模型，利用光流——帧间密集的像素级运动——作为单一表示，既用于规划动作，也用于预测未来视频。通过将机器人指令编码为光流视频，FlowWAM弥合了底层控制与视频生成之间的鸿沟，使同一模型能够解码动作、条件化视频预测，并从无标签的人类视频数据中学习。
目录
研究人员构建了什么
FlowWAM是一个50亿参数的世界动作模型（WAM），基于预训练的视频生成Transformer Wan2.2-TI2V构建。其核心创新在于将机器人动作表示为密集的光流视频——本质上是一系列图像，其中每个像素的颜色编码了相邻帧之间的运动方向和速度。该光流视频同时服务于三个目的：
- 可解码性用于控制：模型可以读取光流视频并将其解码为精确的机器人关节指令，从而在现实世界中直接执行动作。
- 通过无标签视频预训练实现可扩展性：可以从任何视频中提取光流——包括不包含机器人动作标签的自我中心人类演示——并用于预训练运动先验。
- 世界建模的可靠性：密集的光流场为视频生成器提供逐像素指导，确保预测的未来帧遵循预期的动作轨迹。
该模型采用双流架构：一个流处理RGB帧，另一个处理光流帧（以HSV色彩空间编码），两个流通过联合自注意力共享Transformer块。两阶段训练流程首先从机器人和人类视频中学习通用运动表示，然后微调一个动作专家来将光流潜变量解码为可执行的动作。
关键结果
FlowWAM在两个基准测试上进行了评估：用于操作策略的RoboTwin 2.0和用于动作条件世界建模的WorldArena。
操作策略（RoboTwin 2.0）： FlowWAM在50个双手任务中取得了最先进的成功率，优于包括视觉-语言-动作模型（π₀）、Motus、X-VLA和GigaWorld-Policy在内的强基线。在50个演示的Clean设置下，FlowWAM匹配或超越了先前最佳方法；在500个演示且物体姿态、光照和干扰物变化较大的Random设置下，它保持了稳健的性能，而其他方法显著退化。
动作条件世界建模（WorldArena）： 在联合评估视频质量和动作一致性的WorldArena基准测试中（121帧展开），FlowWAM在16个指标上取得了最高的整体EWMScore。它优于通用视频生成器（CogVideoX、Veo 3.1）和物理感知模型（Cosmos-Predict 2.5、ABot-PhysWorld）。值得注意的是，FlowWAM在衡量动作对齐的指标（JEPA相似性和跟踪一致性）上得分显著更高，证实了密集光流条件化紧密引导视频生成以遵循请求的动作轨迹。
现实世界迁移： 研究人员在两个机器人平台（Franka Research 3和ARX 5双手）上对七项现实世界操作任务测试了FlowWAM。在堆叠碗、放入抽屉、折叠毛巾和清洁盘子等任务中，FlowWAM在开环基线失败的情况下取得了成功，尤其是在接触密集和双手协调任务中。
工作原理
FlowWAM分为两个阶段运行：训练和推理。该架构基于一个50亿参数的视频扩散Transformer（DiT），配备因果VAE和UMT5-XXL文本编码器。
阶段1 – 运动表示学习： 双流生成器学习从初始帧和语言指令生成RGB和光流视频。光流通路使用单独的块嵌入和输出头，两者均从相应的RGB权重初始化，外加一个可学习的流令牌嵌入以保持流身份。训练使用流匹配目标，基于两个数据源：机器人演示视频（带有已知动作标签）和大规模自我中心人类视频（从中提取光流，无需动作标签）。
阶段2 – 动作专家训练： 一个轻量级的动作专家网络从冻结的VAE编码器读取隐藏状态。训练时，它看到干净的视觉潜变量；推理时，它从双流模型生成的潜变量中读取（可能包含残留噪声）。为了对齐这些分布，在部分训练步骤中将噪声混入视频生成器的输入，并将噪声水平作为辅助嵌入传递给动作专家。这种简单技术防止了分布偏移，并稳定了动作解码。
推理流程： 1. 用户提供初始观察图像和语言指令。 2. 双流生成器根据指令去噪光流视频，生成密集的运动计划。 3. 同时，RGB流生成相应的未来视频帧。 4. 动作专家读取光流潜变量并将其解码为一系列机器人关节动作（位置、速度或力矩指令）。 5. 机器人执行动作；预测的视频可用于验证或模型预测控制。
数据效率： 由于光流是任何视频中自然存在的运动表示，FlowWAM可以在无动作标签的人类视频数据（例如，自我中心烹饪、装配）上进行预训练。这显著减少了下游任务所需的机器人演示数量——这对于现实世界部署是一个关键优势。
为何对机器人学重要
FlowWAM解决了机器人学习中最棘手的开放问题之一：如何在控制、预测和无标签数据之间统一动作表示。大多数当前系统对策略（关节向量、末端执行器位姿）和预测（视频像素、深度图）使用不同的表示。这种不匹配迫使机器人在数据效率（视频预训练）和精确控制（底层指令）之间做出选择。FlowWAM消除了这一权衡。
机器人部署的实际意义： - 降低数据收集成本：机器人所有者可以利用现有视频数据集（YouTube烹饪教程、工厂生产线镜头）来初始化运动先验，而无需昂贵的遥操作。 - 更好的仿真到现实迁移：相同的流表示适用于仿真和现实，简化了仿真到现实的流程。 - 更可预测的机器人行为：由于FlowWAM在执行前生成可见的运动计划，操作员可以在执行前预览和验证机器人动作——这对于人机共享工作空间的安全性至关重要。 - 跨本体迁移：FlowWAM的动作专家被证明可以在两个不同的机器人平台（Franka单臂和ARX双手）上工作，只需极少的重新调整。
对于评估自动化的公司来说，这意味着更灵活的机器人单元，可以从现有视频数据中学习，而无需数千个手动收集的演示。在Robot Overflow上查看二手工业机器人，了解可能受益于此类学习方法的平台，或者浏览人形机器人，如果您正在探索通用平台。
局限性与开放问题
FlowWAM存在一些当前限制。首先，50亿参数的模型需要大量GPU内存（多个A100），使得在边缘计算或小型机器人上部署不切实际。其次，虽然流解码有效，但它比直接动作预测多了一个推理步骤，增加了延迟——作者报告称Fast-WAM（跳过显式视频生成）更快，但精度较低。第三，当前工作仅评估桌面操作；涉及变形的接触密集任务（例如，绳子、布料）仍然具有挑战性，因为光流在非刚性运动中表现不佳。第四，模型的时间视野限于5秒（24 fps）——跨越几分钟的长时规划需要层次化扩展。最后，对预训练视频生成器（Wan系列）的依赖意味着性能受限于这些基础模型的弱点，例如长展开中的物体恒常性和物理一致性。
常见问题解答
为什么光流比关节角度或末端执行器位置更好的动作表示？ 光流存在于图像空间，这与视频数据处于同一域。这使得同一神经网络可以从无标签视频中学习运动模式，并将其应用于机器人控制，而无需在不同坐标系之间进行转换。
FlowWAM能否适用于任何机器人，而不仅仅是测试的两个手臂？ 原则上可以。光流表示与硬件无关——它只关心像素运动。动作专家必须针对目标机器人的运动学进行微调，但阶段1的运动先验可跨本体迁移。
需要多少无标签视频数据才能看到改进？ 论文显示，添加自我中心人类视频（300小时数据）相比仅使用机器人演示训练，策略成功率提高了5-15%，具体取决于任务复杂度。
该模型是否足够安全以进行无监督操作？ 目前还不是。生成的流计划可以在执行前进行视觉检查，这增加了一层安全性，但如果输入分布外，动作专家可能仍然产生意外动作。现实世界部署需要强大的监控和错误恢复。
结论
FlowWAM确立了光流作为一种强大的统一动作表示，架起了控制、世界建模和无标签视频预训练之间的桥梁。通过将机器人运动编码为密集像素流，同一模型可以解码动作、预测未来视频并从人类演示中学习——而无需当前方法中存在的表示差距。在RoboTwin和WorldArena基准测试上的结果表明，这种统一方法显著优于使用分离或表达能力较弱的动作编码的方法。
距离我们看到能够从YouTube视频学习的生产型机器人控制器，而不是需要数千个遥操作演示，还有多久？