能够从观察图像和预期动作预测未来视频帧的世界模型是现代机器人学习的核心组成部分。我们提出了iMaC，一个具身世界模型，它将未来动作转化为两种互补的基于图像的控制信号：运动图像，通过正向运动学渲染可视化未来机器人关节构型；以及接触图像，通过场景级距离场热图编码机器人是否会接触物体以及接触位置。这些动作条件图像被注入视频扩散模型作为视觉控制信号，指导准确未来帧的生成。在八个真实世界的布料操作任务上，iMaC取得了最先进的视频预测质量和策略评估分数，无需依赖特定领域的动作嵌入或低维动作-图像投影。
实验设置
基线和指标。 我们将iMaC与通过学习到的动作嵌入或稀疏动作-图像控制注入未来动作的动作条件世界模型基线进行比较。主要视频预测指标是在相同初始观测和动作序列下，生成视频与真实未来视频之间计算的。对于策略评估，我们报告每个任务的世界模型得分与真实世界得分之间的相关性。我们消融了URDF/FK渲染的运动图像、双流接触图像以及用于构建接触图像的深度来源。
实现细节。 我们分两个阶段训练iMaC。第一阶段在所有八个任务的数据上训练一个共享模型；第二阶段在每个单独任务上微调一个特定任务模型；最终评估每个任务使用一个世界模型。由于接触图像依赖于用于点云构建的预测深度质量，第一阶段仅使用运动图像控制，而接触图像控制在第二阶段微调时引入，此时模型已能产生更清晰的RGB-D预测。训练时的展开也采用预热：前40个epoch使用干净的参考观测，之后启用单步生成参考。
消融研究
运动与接触图像。 前两列消融隔离了两种动作衍生控制。没有接触图像时，世界模型缺乏接触感知的指导来遵循动作：夹爪无法抓取布料，尽管后续帧仍生成类似相互作用的布料运动。没有运动图像时，模型缺乏关于未来机器人构型的直接指导；夹爪反复尝试动作但无法实现精确抓取。
接触图像的深度来源。 保留运动和接触控制，但比较用于构建接触图像的深度获取方式：使用DA3深度部分改善了动作遵循，因为两种控制都存在，但其接触几何一致性不如iMaC的RGB-D世界模型状态：与真实情况相比，夹爪仍然错过布料角。
局限性
iMaC依赖于准确的3D信息来训练深度预测和构建基于点云的接触图像。在当前的系统中，深度监督由Depth Anything 3 (DA3)从多视角RGB观测和相机姿态估计得到，这可能在操作场景中引入厘米级误差。双流接触图像仍然有用，因为它们是距离场上的热图，因此模型可以利用粗略的接近和分离趋势，而不是每个像素上的精确度量接触。更高质量的深度传感器或适应操作的深度模型应能进一步改善接触时序、碰撞定位和长程展开的可靠性。
常见问题
iMaC与其他动作条件世界模型有何不同？ iMaC将未来动作转化为视觉控制信号——运动图像和接触图像——而不是依赖学习到的动作嵌入或稀疏动作-图像投影，从而实现更精确和可解释的动作遵循。
iMaC如何处理需要精确接触物体的任务？ 它通过场景级距离场热图构建双流接触图像，编码接近和分离接触趋势，使模型即使在每个像素上没有精确度量接触的情况下也能生成准确的抓取交互。
iMaC对深度依赖的接触图像采用什么训练策略？ 模型分两阶段训练：首先仅使用运动图像，然后在微调阶段引入接触图像控制，此时模型已能产生更清晰的RGB-D预测，避免早期深度估计噪声的影响。
iMaC在实际部署中目前面临哪些限制？ 其深度监督依赖于多视角RGB估计，可能在操作场景中引入厘米级误差，影响接触时序和长程展开的可靠性。