问题定义
通过自回归地建模由动作序列条件化的未来预测，世界模型能够根据动作序列预测未来观测，并支持与人类操作者及下游策略进行闭环交互。
基于视觉动作的世界建模
随后，我们将世界模型定义为根据视觉动作序列和历史上下文预测未来观测的模型。
以视觉动作序列作为条件，系统便能学习由机器人本体运动直接驱动的场景交互。
高效的闭环交互
为了支持与人类操作者及下游策略进行闭环交互，世界模型会根据输入动作预测下一时刻的观测，并将生成的观测以自回归方式反馈为后续 rollout 的历史上下文。
按照上述方法，我们将前序 token 的键值对缓存为历史上下文，同时在每次预测时，仅在新生成的 token 块内部执行完整的自注意力计算。
实验
本节设计了一系列全面的实验，从以下问题出发对 GeniWorld 进行评估：
生成保真度与泛化能力
GeniWorld 能否生成高保真视频预测，并有效泛化到多样且未见过的场景？
策略评估的可靠性
在场景受到扰动以及处于域外设置时，GeniWorld 能否可靠地评估下游策略，并与真实世界中的表现保持较强相关性？
用于策略改进的数据合成
GeniWorld 能否从数量有限的已记录轨迹中合成有效训练数据，在无需搭建新真实环境的情况下，提升策略学习效果与性能？
真实世界平台设置
我们使用双臂 Xtrainer 机器人系统搭建实验平台。在完成手眼标定后，我们将机器人的 URDF 集成到 Isaac Sim 中进行运动控制，并复现实体相机的布置，以渲染出视觉上保持一致的观测结果。
我们设计了四项具有代表性的操作任务，涉及多种物体和复杂的物理动力学：
- 移动碗
- 折叠毛巾
- 放置马克杯
- 打开抽屉
我们通过 Xtrainer 遥操作系统采集示范数据。在训练数据采集过程中，我们保持桌面环境整洁，仅在不同 episode 之间随机化被操作物体的位姿。
用于策略评估的世界模型
我们研究 GeniWorld 能否充当下游策略的有效离线评估器。通过在 GeniWorld 和真实世界平台中执行相同的策略检查点，我们定量测量模拟 rollout 与真实任务成功率之间的相关性。
策略基于收集到的真实世界示范数据，从视觉-语言-动作模型微调而来。每次试验中，我们都会在 GeniWorld 和真实环境中为策略提供相同的第一帧视觉观测作为初始输入。
人工评估者判断任务是否成功，视觉-语言模型则作为自动评判器，评估操作行为是否符合物理 plausibility。
用于策略改进的数据合成
接下来，我们探究 GeniWorld 能否利用来自狭窄分布的有限示范，合成多样化的操作数据，从而提升策略在复杂条件下的性能与泛化能力。
结论
本文提出 GeniWorld：一种以视觉动作为条件、具备泛化能力的交互式世界模型，可支持具有空间 grounding 的闭环机器人交互。
尽管仅使用有限的固定场景示范进行训练，GeniWorld 仍在域内取得了出色表现，并能可靠地零样本泛化到未见过的场景。它不仅支持稳健的策略评估，还能生成规模可扩展且高度多样的合成轨迹，从而提升下游策略的性能。
这些结果凸显了通用世界模型的巨大潜力：它们能够为具身机器人学习提供可扩展的想象空间。
常见问题
什么是 GeniWorld？ GeniWorld 是一种以视觉动作为条件的通用交互式世界模型，用于支持具有空间 grounding 的闭环机器人交互。
实验采用了什么机器人平台？ 实验使用双臂 Xtrainer 机器人系统，并在完成手眼标定后将其 URDF 集成到 Isaac Sim 中。
评估了哪些操作任务？ 评估任务包括移动碗、折叠毛巾、放置马克杯和打开抽屉。
GeniWorld 如何用于改进策略？ GeniWorld 能够从有限示范中合成多样化的操作数据，从而提升策略学习效果与泛化能力。