P3-WAM 在一个模型中整合了三项任务：从视频中重建手部和相机运动、预测接下来会发生什么，以及规划朝向视觉目标的动作。研究人员报告称，该模型在这些任务中的表现优于受测基线；他们还展示了如何将生成的人手动作迁移到实体灵巧机器人上。这是朝着连接视觉理解与真实操作的系统迈出的一步。
目录
研究人员构建了什么？
P3-WAM 是一种用于灵巧操作的统一世界动作模型：它既能预测场景将呈现何种视觉效果，也能预测手部和相机将如何运动。模型接收第一人称视角视频——即执行任务者视角拍摄的影像——以及一条文本指令。在规划时，它还可以使用一张目标图像，展示期望的最终布局。
该模型支持三种模式。感知模式根据观测视频估计手部和相机运动。预测模式利用已观测到的动作预测未来的视频和运动。规划模式则生成可能的动作序列及对应视频，以实现目标。在每种模式下，它都会在视觉输出之外，明确生成手部和相机轨迹，而非只把未来视频作为结果。
采用共享模型很有意义，因为这些任务彼此交叠。重建手部运动可以帮助系统学习动作与视觉变化之间的关系，而预测这些变化则能为规划提供有用背景。P3-WAM 以预训练视频生成模型为基础，并扩展出一条用于结构化手部和相机动作的通路。论文还介绍了相关演示：将模型生成的人手动作转换为灵巧机器人的运动轨迹。
P3-WAM 报告了哪些结果？
研究人员报告称，与分别训练各模式相比，统一训练提升了三种模式的表现。P3-WAM 在感知和预测任务上的表现优于受测基线。在规划任务中，其生成视频在动作过程质量和指令遵循程度方面获得了更高的视觉语言模型评分。论文提供的文本未包含基准测试的具体数值，因此无法在此比较提升幅度。
感知能力在四个数据集上进行评估：ARCTIC、HOT3D、EgoLive 和 EgoDex-MANO。评估包括考虑手部是否可见的 3D 手部关节误差，以及相机坐标系、相对根节点坐标系和对齐坐标系下的测量结果。预测测试包括视频质量和手部区域对比；论文提及的指标包括 Fréchet 视频距离（FVD）和交并比（IoU）。
规划评估涵盖 17 个任务类别。在一项人工评分研究中，每个模型生成了 188 段视频；每段视频包含 81 帧，帧率为 16 frames per second。评审者按 1–5 分制对五个维度打分，另有一项独立的视觉语言模型评估对生成视频进行评分。所提供的文本介绍了评估设置，但未给出人工评分的汇总结果。
实体测试提供了另一类证据：研究人员将两个生成的操作序列转换为机器人轨迹，并在真实环境中回放。论文报告了这些演示，但所提供的文本未给出数值形式的成功率。
P3-WAM 如何工作？
P3-WAM 基于一个预训练视频生成骨干模型。视频帧在内部表示为压缩的视觉数据，观测到的手部和相机状态则编码为紧凑的动作标记。一个冻结的动作编码器为每帧生成三个标记：分别表示相机、左手和右手。手部骨架和相机射线图也提供空间线索，使动作与图像对齐。
混合 Transformer 架构让视频信息与动作信息通过共享注意力机制进行交互。具体而言，模型可以在估计动作时利用视觉上下文，也可以在预测场景变化时利用动作上下文。训练过程中，模型会随机接触不同模态的可见情况，从而学习处理视频或动作信息的不同观测与缺失组合。这有助于在同一框架中支持三种运行模式。
模型在生成时对视频和动作采用不同处理方式。在感知模式下，它读取观测视频，并通过单次处理预测完整动作序列。在预测和规划模式下，它会迭代生成缺失的视频帧，同时保持已观测帧不变；并在这一过程中预测动作轨迹。随后，解码器将生成的视频和动作表示转换为可见帧、手部运动和相机运动。手部运动采用 MANO 表示，这是一种描述手部形状和关节活动的模型。
在规划模式下，目标图像提供了文本指令可能未明确说明的空间信息，例如两个方块最终应相距多远。较长的任务可以拆分成多个阶段，并为每个规划窗口设定一个视觉子目标。随后，模型生成连接当前观测与该窗口目标的视频和运动。
这对机器人技术为何重要？
操作小物体的机器人需要的不只是看起来合理的视频或一组手部姿态。它们需要与可见内容相联系的动作、对场景变化的估计，以及表达预期结果的方式。P3-WAM 在一个模型中连接了这些要素，或许能让机器人更容易从观察操作过渡到预测或规划操作。
视觉目标对于口头指令不够明确的任务尤其重要。“把方块分开”并未说明它们之间的确切距离或排列方式，而图像可以提供这些信息。将较长的任务拆分为视觉阶段，也为表示中间目标提供了一种方法，而不必要求规划器直接从初始场景跳到最终状态。
机器人演示展示了一种将生成的人体动作迁移至机器人手部的可能途径：从视频中重建物体和场景运动、重定向手部动作，再回放生成的轨迹。这还不是完整的反馈式机器人控制器，但它检验了生成行为能否落到实体执行上。正在探索灵巧机器人平台的团队可以在 Robot Overflow 浏览人形机器人。
有哪些局限与未解问题？
单目视频无法提供可靠的绝对深度测量，因此估计手部的全局 3D 位置本身就存在歧义。论文指出，深度传感或触觉传感有望提供更充分的几何信息。这些传感器或可帮助消除对手物接触和距离的判断不确定性。
实体机器人测试采用开环执行：机器人回放规划好的轨迹，执行期间不会根据实际情况作出调整。因此，系统容易受到逐渐累积的小误差、意外的物体移动或不完美接触的影响。闭环反馈可以让机器人在任务进行过程中作出修正。
这些演示仅涵盖两项真实环境实验，并未涉及广泛的物体、环境或机器人设计。所提供的文本也未给出基准测试提升幅度的数值或机器人成功率，因此难以评估所报告改进的幅度和可靠性。后续测试需要确定该方法能否适用于多种任务和硬件。
读者常问哪些问题？
P3-WAM 能直接控制机器人吗？ 它预测人手和相机运动；随后由独立的重建与动作重定向流程，将生成的运动转换为机器人轨迹。
模型在规划模式下会生成什么？ 它会根据指令和视觉目标，生成预测视频以及明确的手部和相机轨迹。
规划是否需要目标图像？ 默认的规划设置会使用目标图像来指定期望的视觉布局。论文也评估了不使用该图像的版本。
该模型在实体机器人上测试过吗？ 测试过。研究人员介绍了两次真实环境中的执行，使用的是由生成的人手动作迁移而来的轨迹，并以开环方式回放。
核心结论是什么？
P3-WAM 将手部和相机运动、视频预测以及目标导向规划整合到一个模型中，并报告称其表现优于受测基线。机器人演示展现出良好前景，但仍需开展更广泛的实体测试，并进一步实现闭环控制。
对灵巧机器人而言，哪一点更重要：更好的视觉预测，还是执行过程中的反馈？