ID-WM 是一种分层世界建模与规划框架，将时间跨度较长的子目标生成与局部可达性解耦。通过将扩散噪声视为隐式动作，它把规划搜索空间限制在单位高斯分布中，从而可靠地生成子目标。ID-WM 的表现优于所评估的基线，并展示了基于视觉的子目标生成能力。
实验
实验围绕以下四个问题展开：
- 子目标生成： ID-WM 能否可靠地生成多样且可达的可行状态？
- 泛化： ID-WM 能否解决长时程规划任务，并在测试时到达任意的零样本目标？
- 规模扩展： 随着环境复杂度增加，ID-WM 的表现如何？
- 视觉规划： ID-WM 能否直接根据高维视觉观测有效地进行长时程规划？
环境
ID-WM 在三个导航与操作环境套件中进行评估：Wall、PushT 和 Maze。任务时域从数百步到数千个环境步不等。
Wall
Wall 是一个简单的 2D 导航环境，由一道带门的墙分隔成两个房间。智能体必须从墙一侧的随机起点出发，穿过门到达另一侧的随机位置。数据集包含 1,920 条随机生成的轨迹，每条轨迹长 50 步。
基线
ID-WM 与多种离线学习方法进行比较：目标条件行为克隆（GCBC）、离线强化学习（HIQL）、扩散规划器（Diffuser 和 Hierarchical Diffuser），以及使用单层世界模型和模型预测控制（MPC）进行规划的方法。定性视觉实验还将 ID-WM 与 AVDC 进行比较。
单层世界模型与规划
该基线采用扁平化世界模型，通过交叉熵方法（CEM）进行单层规划，不使用分层抽象。
目标条件行为克隆
GCBC 是一种模仿学习范式，其中策略根据当前状态和目标观测，直接映射到引导智能体接近该目标的专家动作。该实现基于 Diffusion Policy 扩展而来，通过对策略进行条件化，使其使用从轨迹中随机采样的未来帧。
HIQL
HIQL 是一种离线强化学习方法，通过结合高层的“子目标即动作”策略和低层的子目标条件策略，学习用于长时程任务的分层表征。
Diffuser
Diffuser 是一种轨迹级扩散模型，通过采样完整的状态—动作序列进行规划。每在环境中执行一个动作后，该方法都会重新规划。
Hierarchical Diffuser
Hierarchical Diffuser 将规划分解为两个时间尺度。高层模块合成中间子目标，低层去噪网络则利用这些子目标生成精炼的轨迹。在环境中执行每个动作后，两个层级都会重新规划。
AVDC
AVDC 使用视频生成模型预测未来状态，并通过逆运动学（IK）推导所需动作。该方法用于将生成的视频序列与 ID-WM 的高层子目标进行比较。
HWM
HWM 是一种同期提出的分层潜在世界模型，通过提高高层模型的帧跳跃率，并在学习得到的宏动作上进行规划。比较中使用 HWM 的 DINO-WM 变体。由于该变体的官方实现未开源，研究者根据已报告的设置进行重新实现，并使用 DINO-WM 补充未说明的细节。
使用 ID-WM 生成邻近状态
实验考察 ID-WM 的各个层级能否准确捕捉底层数据分布，以及能否在不同时间粒度下预测未来状态。对于高层世界模型，评估测试了从潜在先验采样能否产生多样且可达的未来状态。
随任务复杂度扩展
实验研究 ID-WM 如何随环境规模和目标时域的增加而扩展。
随目标时域扩展
在评估相距 25 步目标的 PushT 规划基准基础上，评估通过从验证集采样距离步数未指定的目标来增加复杂度。
数据增强
- 旋转（30%）： 所有位置和 T 形块的角度均绕场景中心旋转未指定的角度。速度和动作也相应旋转。
- 位移 + 旋转（30%）： 将半范围位移与未指定的小幅旋转相结合。
计算资源
基于状态的世界模型使用 1 to 8 NVIDIA H200 Tensor Core GPUs 进行训练。扩展到 8 GPUs 时，使用分布式数据并行（DDP）加速训练。基线模型在单个 NVIDIA H200 Tensor Core GPU 上训练至收敛，规划评估也使用单个 NVIDIA H200 Tensor Core GPU。
对于基于视觉的实验，CDiT 主干网络使用 DDP，在由 32 NVIDIA H200 Tensor Core GPUs 组成的集群上训练。
高层世界模型的训练收敛情况
训练初期，预测分布高度分散，常常无法保留 PushT 场景的结构。早期样本不能始终遵循物体的局部几何形状，也不能体现智能体与物体交互所造成的、符合物理规律的位移。
随着训练推进，生成的样本逐渐集中于连贯的未来构型附近。到约 200 to 600 training steps 时，模型开始捕捉各个时间跨度下的粗略可达区域。之后的检查点会进一步收紧预测分布，同时保留有意义的样本多样性。
结论
ID-WM 是一种分层世界建模与规划框架，将时间跨度较长的子目标生成与局部可达性解耦。将扩散噪声视为隐式动作，可把规划搜索空间限制在单位高斯分布中，从而确保可靠地生成子目标。ID-WM 的表现优于所评估的先进基线，并展示了高质量的基于视觉的子目标生成能力。以明确的局部动力学为分层抽象提供依据，是迈向稳健长时程决策的一步。
局限性
ID-WM 在扩散潜空间中进行基于搜索的优化，其推理时间长于反应式策略或确定性世界模型。未来工作将探索摊销式或基于梯度的规划，以解决这一瓶颈。
尽管分层结构避免了规划复杂度随轨迹长度增长，但复杂度仍随状态空间维度增长。整合紧凑且结构化的表征学习，有望进一步简化高度复杂环境中的规划。
致谢与经费披露
作者感谢 Amir Bar、Alfredo Canziani、Yilun Kuang、Hengkai Pan、Mike Rabbat、Ying Wang 和 Wancong Zhang 提供宝贵的讨论与反馈。
本研究由 AFOSR 通过资助项目 FA95502310139 支持，并由韩国科学技术与信息通信部（MSIT）资助的信息与通信技术规划评估院（IITP）支持，相关资助与全球 AI 前沿实验室国际合作研究协议有关（No. RS-2024-00469482 & RS-2024-00509279）。
常见问题
ID-WM 的设计目标是什么？ 它结合分层世界建模与规划，将长时程子目标生成与局部可达性分离。
ID-WM 如何限制规划搜索空间？ 它将扩散噪声视为隐式动作，把搜索空间限制在单位高斯分布中。
评估使用了哪些环境？ 评估使用了 Wall、PushT 和 Maze 导航与操作环境。
ID-WM 有哪些已说明的局限性？ 基于搜索的优化会增加推理时间，规划复杂度仍随状态空间维度增长。