将智能体的动作与其在世界中的效果（反之亦然）联系起来是有目的交互的基础。在感觉运动控制中，熟练行为将预测运动感觉后果的前向模型与恢复实现期望状态所需动作的逆模型相结合。机器人世界模型应同样在一个统一的预测框架中支持两种推理方向。
引言
本文提出了掩盖视觉动作，一个用于预训练视频模型的像素空间控制接口，以及一种基于真实和模拟数据中掩盖样本的高效适配方法。前向和逆向机器人世界建模问题可以被视为同一视频模型的互补条件预测问题，通过揭示场景中的不同实体来实现。该框架在仿真和真实世界中通过机器人操作的三个应用得到验证：策略评估、基于模型的规划以及逆向建模。
数据集构建
掩盖建模数据集通过结合来自DROID的真实世界视频和来自Robocasa的仿真数据构建而成。两个数据集的成功和失败轨迹均被使用。对每个视频，采用两种方法构建掩盖条件：基于视频分割和渲染机器人状态。
模型实现与训练
使用Wan-Fun-Control 2.2 14B作为基础模型。掩盖条件视频使用与视频模型相同的自编码器进行编码，并采用拼接作为条件机制。拼接合适因为条件信号与期望输出视频在空间上对齐。对于掩盖条件的缺失区域，设置为均匀灰色背景。代替微调整个模型，使用秩为256的LoRA微调，批大小为4，在8块NVIDIA H200 GPU上训练大约10,000步，耗时4天。
实验
掩盖视觉动作作为世界建模的控制信号进行评估，在视觉保真度和可控性方面与先前工作比较，并突出对训练中未见具身形态的泛化能力。评估视频模型的多种机器人应用，包括通过采样轨迹进行规划、策略评估以及通过逆向建模将视频模型本身用作策略。
机器人应用
突出显示统一世界模型在机器人学中的多种应用。该模型被用作前向模型来模拟机器人动作，展示其在规划和策略评估中的用途。该模型也被用作逆模型：给定期望物体运动作为掩盖视觉动作，生成机器人执行期望物体操作的视频，并使用学习到的逆动力学模型提取动作。Robocasa在这些应用中作为仿真环境。
用于规划和策略评估的仿真策略训练
对于仿真策略，根据基准提供的成功条件进行评估。在规划中，这些策略作为提案生成器：从策略中采样动作候选，每个候选用视频模型模拟，并使用基于VLM的评估器对预测未来进行排序。在策略评估中，同一类策略提供动作轨迹，其成功率在模拟器和视频模型之间进行比较。
用于动作提取的学习逆动力学
扩散策略、ACT和SmolVLA基线被包含在此实验中，但仅作为动作提取设置的狭窄对照。这些基线基于生成视频的第一帧而非完整的合成交互，因此无需在本小节之外进行专门的讨论。
硬件设置
感知设置包括两个ZED Mini 2相机。一个相机安装在机器人手腕上，提供靠近末端执行器的第一人称视角。第二个相机外部安装，提供工作空间的固定第三人称视角。两个相机以1280×720分辨率和30 Hz记录RGB帧。
相机与机器人框架标定
通过观测同一桌面安装的AprilTag对外部相机进行标定。由于手腕相机位姿已知，可根据检测到的标签位姿计算外部相机相对于机器人基座的位姿。桌面安装的AprilTag在机器人、手腕相机和外部相机之间提供共享参考框架。通过将机器人模型投影到相机图像中并检查其与观测帧的对齐来验证标定质量。
轨迹表示
每次运行存储为轨迹，其中o_t和o_t_wrist是外部和手腕RGB观测，q_t是测量的机器人关节状态。所有数据以HDF5格式存储。每个文件对应一次运行，包含RGB帧、关节状态、时间戳和标定元数据。对于涉及视觉机器人掩码的实验，存储的关节状态与Franka运动学模型、自定义末端执行器几何和标定相机参数结合，将机器人几何渲染到图像平面。
讨论与结论
通过在少量掩盖视觉动作数据上微调预训练视频模型，有效利用了视频模型的先验知识，通过以场景实体子集为条件合成反事实。模型可作为动作条件前向模型，在机器人具身可视化作为条件时模拟机器人动作；作为逆模型时，合成合适的机器人运动以逼真地操作物体。
局限
与现有生成模型类似，该模型学习物体交互的相关性而非因果关系，这仍是一个开放研究问题。该方法自然受限于基础视频模型的能力，包括推理速度和表达能力，因为它重用了模型的先验而非修改其能力。
社会影响与更广泛影响
通过实现基于视频的策略评估、规划和逆向建模，这项工作可能降低开发机器人系统的成本，使机器人学习更加可及。然而，相同的能力也可能被用于不安全或未经授权的机器人行为，凸显了负责任使用和部署的必要性。
常见问题
什么是掩盖视觉动作？ 掩盖视觉动作是用于预训练视频模型的像素空间控制接口，允许机器人从掩盖视频示例中学习前向和逆向世界模型。
模型如何训练？ 模型使用LoRA微调，基于Wan-Fun-Control 14B基础模型，在8块NVIDIA H200 GPU上训练10,000步，使用DROID和Robocasa数据集的数据。
这启用了哪些机器人应用？ 模型支持策略评估、基于模型的规划以及逆向建模，其中视频模型本身根据期望物体运动生成机器人动作。
主要局限是什么？ 模型学习相关性而非因果关系，其性能受限于基础视频模型的速度和表达能力。