人形机器人如何学会与日常生活中遇到的各种物体互动？视觉模仿学习提供了一条颇有前景的路径：人类示范能够展示完成接近、抬起、搬运和放下各种物体所需的全身协调动作。近期的真实到仿真再到真实（real-to-sim-to-real）流程，使人形机器人能够直接从人类视频中习得具有情境感知能力的全身移动技能。这些进展指向一条通往通才型人形机器人的路径：从互联网规模的视频数据中学习丰富的移动与操作技能。
然而，获取多样且高质量的人—物交互视频，仍是扩大视觉模仿学习规模的实际瓶颈。互联网视频数量庞大，但其内容和取景方式受到人类观看偏好的影响。因此，筛选出能清晰展现人物全身及其与物体互动过程的视频，成本高昂，也难以大规模实施。不过，这类交互数据隐含在现代视频生成模型中；模型学到的人体运动和交互先验可用于合成多样化的训练视频。
核心技术挑战在于：如何应对反事实视频生成和单目重建带来的误差，获得符合物理规律的机器人示范。关键思路是将接触信号作为重建、动作重定向和策略学习的共同约束。在重建的第一阶段，人—物接触将两者的运动联系起来：人体运动为物体轨迹提供引导，而物体接触信息则有助于校正重建人体姿态中的误差。在动作重定向阶段，稀疏接触锚点指定机器人末端执行器应与物体接触的位置。这些锚点引导系统将含噪重建结果细化为符合物理规律的机器人—物体轨迹，同时适应形态差异。在策略学习阶段，锚点为特权教师策略定义接触奖励，使其能够协同跟踪机器人与物体的运动。随后，教师策略被蒸馏为基于深度信息的策略，并通过摇杆控制实现零样本仿真到现实部署。
本文的贡献包括：一种利用反事实视频生成来扩展人—物交互经验的学习范式；一种以接触为锚点的真实到仿真及动作重定向流程，可将单目重建结果转化为符合物理规律的机器人—物体示范；以及一种真实到仿真再到真实的流程，训练统一的全身人形机器人策略，使其能够泛化至多种物体，并根据机载深度观测，通过摇杆控制完成拾取、搬运和放下动作。
反事实交互视频生成
利用在线视频扩展真实到仿真学习仍面临挑战。尽管互联网视频数量庞大，但其内容和取景方式受到人类观看偏好的影响。因此，要筛选出多样化片段，同时满足全身画面清晰、能看到人—物交互且视角稳定等条件，成本高昂，也难以大规模实施。PRISM 利用视频到视频生成，将少量合适的真实视频扩展为多样化的反事实交互视频——也就是源视频中并未发生、但若使用不同物体便可能发生的互动。给定一个种子视频和类别级文本提示词，模型会被要求替换被操作的物体，同时保留原始背景、光照、摄像机视角和大致任务结构。以视频为条件进行生成，可使生成内容以真实场景和任务为基础，同时允许物体和人的行为发生变化。
重要的是，反事实变化并不局限于物体几何形状或外观。当物体类别、尺寸、姿态或摆放位置发生变化时，其可供操作的特性也会随之改变，人类行为也会相应调整。生成视频中的人物可能会弯得更低、调整双手间距、根据物体的可供操作特性改变接触策略，或以不同方式搬运物体。因此，每个生成片段都提供一种以物体为条件的交互策略，而非只是将同一套人体动作与新物体配对。这使 PRISM 能够获得仅靠几何层面的数据增强难以硬编码的行为层面变化。若从零开始学习这类适应行为，需要穷尽式地设计针对具体任务的强化学习奖励；PRISM 则将视频模型作为对合理人类适应行为的离线先验。
实践中，研究人员录制了四段真实场景种子视频，并将其用作视频到视频生成的真实场景模板。研究人员向 SeedDance 2.0 提示词，要求其将被操作的物体替换为盒子、箱筐、桶或球，同时保留原始背景、光照、摄像机视角和时间连续性。类别级提示词使模型能够改变物体的几何形状、外观和姿态，并相应调整人的行为。每个类别生成 16 个样本，每个种子视频便可生成 64 段反事实视频；四段真实录制最终扩展为 256 段视频，供真实到仿真流程使用。
训练协同跟踪教师策略
人形机器人物体交互被建模为一个协同跟踪问题：策略同时跟踪人形机器人运动，以及从单目视频中重建出的动态物体轨迹。论文请读者参阅代码库，了解运动跟踪训练细节。
观测
教师策略的观测包括参考动作、机器人本体感知信息、上一时刻的动作，以及物体的当前状态和目标状态。物体状态由物体位姿和3D包围盒尺寸表示，使策略能够明确感知期望的机器人动作和物体状态。
奖励与终止条件
奖励主要由机器人姿态跟踪、物体位姿跟踪、动作变化率、关节限位和碰撞惩罚构成。接触感知交互奖励采用重建和动作重定向方法中所述的接触锚点。具体而言，该奖励鼓励机器人末端执行器到达期望接触位置，并超过预设的接触力阈值。
真实到仿真的重建质量
评估指标
对于蒸馏后的学生策略，摇杆指令根据参考动作生成，深度观测则在仿真中渲染，用于驱动策略。如果机器人成功完成拾取—搬运—放下流程，并将物体放置在期望的目标位置，则该次运行视为成功。
讨论
在 OMOMO 上训练的策略在 OMOMO 序列上的表现良好，但迁移至 PRISM 交互时效果较差，尤其是在域外物体上。研究发现了三种主要失效模式：策略难以应对未见过的深度观测；过拟合于近距离交互，在接近远处物体之前就尝试抓取；以及无法在新颖物体几何形状上稳定搬运。
这些失效表明，单靠 OMOMO 所提供的感知、物体配置和交互动力学变化不足以实现稳健的移动操作。相比之下，在 PRISM 数据上训练的策略能够泛化至这两个领域，展现出 PRISM 数据更广泛的迁移能力。
真实世界部署
Fast-FoundationStereo 显著缩小了深度信息的仿真到现实差距。颈部相对于默认位置手动向上倾斜了未指明的角度；训练期间采用的摄像机位姿随机化，使系统能够容忍不精确的标定。在弯腰过程中，颈部有时会复位到默认位置，或偏离目标角度，从而产生分布外深度观测。
结论
PRISM 是一种真实到仿真再到真实的框架，可将少量真实视频扩展为多样化的人形机器人示范。以接触为锚点的重建与动作重定向，能够将不完美的反事实视频转化为符合物理规律的机器人—物体轨迹。由此得到的统一深度感知策略能够在真实世界中以零样本方式拾取、搬运和放下未见过的物体。这些结果表明，视频生成可成为构建可泛化全身交互能力的实用数据来源。
局限性与未来工作
该流程在真实世界中取得了令人鼓舞的结果，但仍存在一些实际局限。
重建与动作重定向
单目4D人—物—场景重建仍具挑战，尤其难以保持接触关系和交互动力学的一致性。重建误差可能在动作重定向过程中累积，从而损害机器人示范的质量。尽管本研究开发期间无法使用 Astra，但此类编码智能体有望自动化地从反事实视频中重建场景，并通过迭代不断优化。将这些智能体与接触感知动作重定向及基于仿真的验证相结合，或可提升机器人示范的可靠性。
数据规模
四段种子视频生成了 256 段片段，得到 137 条可行轨迹和 129 次成功的教师策略运行。这样的规模不足以刻画规模效应，重建与动作重定向仍是实际瓶颈。未来工作应同时扩大生成和轨迹恢复的规模，以研究示范数量和质量如何影响零样本泛化。
物体物理属性
该方法使用特定类别的标称质量和基于网格计算的惯性，并采用质量—惯性耦合缩放和随机化摩擦。它无法识别实例特定的表面属性或内部质量分布，这可能导致仿真到现实的接触不匹配。
仿真局限性
动态物体被建模为刚体。因此，对于接触几何形状可能在交互过程中发生变化的关节式或可变形物体，策略可能难以应对。例如，折叠椅可能通过内部关节发生位移，造成抓取不稳或失去控制。
致谢
作者感谢 Chung Min Kim、Arthur Allshire、Hongsuk Choi、Isabella Yu、Junyi Zhang、Jacob Berg、Yen-Jen Wang、Sirui Chen、Charlie Cheng、Jiashun Wang、Siheng Zhao、Youjian Huang、JC Hu、Haochen Wang、Haozhi Qi 和 Qitao Zhao 提供的支持与宝贵反馈。
接触锚点的可靠性
对于双手搬运，2D 重叠用于确定接触时机；与掌心中心连线段相交的网格用于确定物体坐标系中的锚点。位姿和网格误差可能导致穿透及逆运动学失败。该方法保留不会发生穿透的逆运动学解，以及完整轨迹的教师策略运行，但不提供形式化的接触或可行性保证。
流程运行时间
论文在引用的表格中报告了每段8秒视频的平均耗时，但所提供的文本中未包含表格数据。重建和动作重定向使用一块 NVIDIA L40S GPU；视频到视频生成的延迟则单独记录。
其他交互示例
论文展示了在提供合适接触点和物体表示的情况下，对滚滚球和开门动作进行重建的结果。门的几何形状由 SAM3D 生成，关节结构由 Codex 生成。这些定性示例并非策略评估或真实世界评估；工具使用、重新抓取、更广泛的可变形物体操作，以及 ExoRecon 中出现的极端动力学情形，均尚未测试。
常见问题
PRISM 如何生成多样化的交互示范？ 它利用视频到视频生成替换真实种子视频中的物体，同时保留场景，并使人的行为适应物体特性。
接触锚点在流程中发挥什么作用？ 它们为接触感知重建和动作重定向提供引导，并为教师策略定义接触奖励。
生成了多少反事实视频？ 四段种子视频通过每种物体类别生成 16 个样本，扩展为 256 段生成视频。
该方法有哪些主要局限？ 单目重建误差、数据规模有限、物体物理属性不确定以及刚体仿真都可能限制性能。