RoboDream是一个以具身为中心、可泛化的机器人数据合成世界模型。通过将视频生成条件化为显式的场景和物体先验，我们的方法能够在任意环境和物体上生成可控的示范，无需任务特定的微调。两种实用的部署模式——检索与重生，以及无道具遥操作——解决了真实世界数据收集中的关键瓶颈。实验表明，RoboDream持续提升策略性能，并减少了真实数据收集的负担。
先验提取
为了训练RoboDream，我们从现有大规模机器人数据集中构建匹配场景、物体和运动嵌入的训练对。该自动化流程无需人工标注即可提取先验。
物体识别。 给定第一帧和任务指令，我们使用视觉语言模型（GPT-5-nano）识别与任务显式相关的物体。模型返回一个物体名称列表（例如，“红色杯子”、“蓝色海绵”），过滤掉桌子或墙壁等背景元素。
场景先验构建。 我们通过从第一帧中移除分割出的任务相关物体来生成场景先验。利用基于扩散的修复模型OmniPaint，填补物体移除后留下的空洞，得到干净的工作区背景图像。
实验设置
我们在与DROID平台一致的Franka Panda机器人设置上进行实验。每个任务都涉及精确的物体操作。我们根据任务完成度评估成功率；对于拾取和放置任务，部分成功（例如，成功抓取但放置失败）计为半分。所有真实世界评估均在每个策略20次 rollout 上进行。
利用生成数据扩展
我们进一步研究了数据引擎的扩展特性。将真实数据集固定为50个示范，并逐步增加混合的生成示范数量。生成数据包括检索到的DROID轨迹，并在我们的目标场景中重生。表III报告了当生成数据从100集增加到400集时的成功率。
我们观察到，添加生成数据持续提升了相对于Real-50基线的性能。性能增益在大约Mix-200时趋于饱和。这表明，虽然RoboDream提供了可扩展的数据来源，但检索轨迹（来自DROID）的多样性或生成中的领域差距最终限制了增加更多样本的边际收益。尽管如此，在不收集额外真实数据的情况下显著提升策略性能的能力，证明了我们数据引擎的强大。
组合生成
最后，我们通过组合生成研究了模型的零样本泛化能力。RoboDream有效地解耦了操作的各个组件，使我们能够以零样本方式重新组合它们，生成多样化的示范。
局限性
RoboDream假设渲染的机器人视频忠实捕捉了机器人在目标场景中应遵循的运动轨迹。虽然生成质量依赖于训练分布的覆盖范围，但我们相信可以通过进一步扩展训练数据（包括人类视频）来解决这一问题。通过将人类视为具身存在并将生成基于人类运动，我们的框架可以潜在地利用互联网规模的人类数据来提高鲁棒性。此外，该模型继承了底层视频扩散模型的时间长度和分辨率限制。我们期望这些限制会随着基础视频生成模型的持续改进而减弱。
结论
我们提出了RoboDream，一个以具身为中心、可泛化的机器人数据合成世界模型。通过将视频生成条件化为显式的场景和物体先验，我们的方法能够在任意环境和物体上生成可控的示范，无需任务特定的微调。两种实用的部署模式——检索与重生，以及无道具遥操作——解决了真实世界数据收集中的关键瓶颈。实验表明，RoboDream持续提升策略性能，并减少了真实数据收集的负担。我们相信这项工作为可扩展的模仿学习提供了一条实用路径，无需大规模的遥操作努力或任务特定的模拟设置。
致谢
我们感谢Jiawei Yang、Mingtong Zhang和Weiduo Yuan的有益讨论，以及Abrar Anwar和Jesse Thomason在机器人硬件方面的支持。USC物理超级智能实验室感谢丰田研究院、杜比、Google DeepMind、Capital One、英伟达、博世、NSF和高通公司的慷慨支持。Junjie Ye得到Capital One Fellowship的支持。Yue Wang还得到Powell研究奖的支持。
常见问题解答
RoboDream的核心创新是什么？ RoboDream是一个以具身为中心的世界模型，将视频生成条件化为显式的场景和物体先验，无需任务特定微调即可合成可控的机器人示范。
RoboDream如何从现有数据中提取先验？ 它使用视觉语言模型（GPT-5-nano）从第一帧中识别任务相关物体，然后采用OmniPaint修复背景，生成干净的场景先验。
哪些实验验证了RoboDream的性能？ 该方法在四个真实世界操作任务上进行了测试，使用Franka Panda机器人，每个策略测量20次 rollout 的成功率，并在混合生成数据与真实示范时显示出持续的性能提升。
RoboDream的主要局限性是什么？ 该模型假设渲染的机器人视频忠实捕捉了运动轨迹，依赖于训练分布的覆盖范围，并继承了视频扩散模型的时间长度和分辨率限制。