具有单一物理属性变化的环境
Push-T 环境由一个圆形推杆（智能体）和一个 T 形块体组成。世界模型根据推杆的动作预测未来场景潜变量及推杆的本体感觉信息。在规划中，每个目标都由一张图像和一个目标智能体状态定义。块体的质心 (CoM) 随机采样。不同的质心不会改变块体的外观，但会改变其受推时的旋转和滑动方式，因此即使施加完全相同的推动动作，也会产生显著不同的状态。
具有多种物理属性变化的环境
多种物理属性变化下的 FetchSlide
接下来，我们研究 PhysiCal 能否在状态转移动力学同时受多种物理属性支配的环境中校准世界模型。为此，我们在 FetchSlide 中同时改变三个物理参数：圆盘质量、桌面表面摩擦力和空气阻力。在该环境中，机械臂将一个扁平圆盘击过桌面，这三种属性共同决定圆盘受击后的减速度和滑动距离。动作空间为末端执行器的位置增量，进而决定击打速度和角度。在规划中，我们优化击打动作，使圆盘停在目标图像指定的位置。上下文序列通过随机动作收集。
定量结果见表 2。尽管耦合物理因素使问题更加复杂，+PhysiCal 仍能有效校准预测，且无需解析形式的物理方程。
讨论
结论
我们认为，世界模型不应止步于通用的视觉保真度，而应进一步实现以特定实例的物理规律为基础的预测。在这项工作中，我们通过提出一种上下文内校准框架，朝这一目标迈进一步，使动作条件世界模型能够以新测试场景中的实际物理动力学为依据。具体而言，我们使用在测试场景中收集的交互序列提示模型，无需微调或解析物理先验即可实现零样本校准。在多种环境中的评估表明，我们的方法显著提高了预测准确性和下游视觉规划表现。
本研究部分由美国国家科学基金会 CAREER Award No. 2544116 资助。
PhysiCalWorld 的实现
我们的实验使用 Python 3.10 在 Red Hat Enterprise Linux 8.10 上实现。训练和评估模型时，我们交替使用 NVIDIA L40S GPU 和 NVIDIA RTX PRO 6000 Blackwell GPU。
FetchSlide 中的物理规律
总体而言，这些物理属性之间的相互作用可描述如下：对于相同的击打动作，圆盘质量越低，受击后的速度越高。圆盘随后减速的过程同时取决于表面摩擦力和空气阻力；摩擦力越强、流体密度越高，减速度就越大。此外，由于我们不改变圆盘的形状，在空气密度相同的情况下，质量较大的圆盘比质量较小的圆盘减速更慢。
成功阈值的选择与敏感性
为了更好地了解 Reacher 和 FetchSlide 中的规划表现，我们还给出了成功率随误差阈值变化的曲线。
在 Reacher 和 FetchSlide 环境中，与基线世界模型（DINO-WM 和 LeWM）相比，我们的方法提升了性能，这可通过比较 DINO-WM 与 DINO-WM + ours 看出。在 FetchSlide 中，我们的方法显著优于非特权基线。在 Reacher 环境中的提升较为有限，这可能是因为其状态空间受到严格限制，仅包含两个旋转关节。
未裁剪的 BeerPong 可视化结果
为便于清晰查看，文中使用了裁剪后的预测帧。本节提供模型预测的未裁剪版本。
更多规划结果
我们展示了更多基于 DINO-WM 和 LeWM 的模型规划对比。对于每个示例，我们使用世界模型结合 CEM 优化一系列动作，以到达目标观测。规划得到的动作会在模拟环境中执行。我们同时展示世界模型预测的观测结果（上排）和模拟环境中的实际执行结果（下排）。每个规划示例之后均附有相应的交互片段。
常见问题
PhysiCal 的作用是什么？ 它利用在新测试场景中收集的交互序列，根据该场景的物理动力学校准动作条件世界模型。
PhysiCal 是否需要微调或解析物理先验？ 不需要。该框架无需微调或解析物理先验即可实现零样本校准。
FetchSlide 中哪些物理属性会发生变化？ 实验改变了圆盘质量、桌面表面摩擦力和空气阻力。
圆盘质量如何影响 FetchSlide 中的行为？ 对于相同的击打动作，质量较小的圆盘受击后速度更高；在空气密度相同的情况下，质量较大的圆盘减速更慢。