GeoState 将依赖摄像机视角的几何特征转化为持久的 3D 场景状态，可对其进行时间预测，并从另一视角解码。通过区分世界本身的变化与摄像机移动造成的变化，它为世界模型提供了更清晰的预测目标——这是迈向能够预判移动过程中场景外观的机器人的重要一步。
目录
研究人员构建了什么？
GeoState 是一种用于预测 3D 场景几何的学习式表示。它不为每个未来摄像机视角分别预测一张深度图，而是将场景信息存储在一种旨在降低对观测摄像机依赖程度的几何状态中。随后，解码器可将该状态转换为指定视角下的深度图。
该系统包含三个主要部分。场景词元化器将预训练几何基础模型（GFM）提取的特征转换为紧凑的场景状态。查询条件化几何解码器将该状态与目标摄像机视角的信息结合起来，并预测深度。世界模型则预测状态随时间的变化。
训练期间，几何基础模型及其密集几何预测头——即生成逐像素深度的组件——保持冻结。词元化器和解码器通过学习重建几何并响应新视角查询来完成训练；随后将它们冻结，再训练世界模型以预测未来状态。这种设计复用现有的几何能力，同时为时序模型提供以场景为中心的预测表示。
实际上的区别在于，预测“下一张图像是什么样”与预测“接下来场景是什么样”。GeoState 旨在实现后者，并在生成观测结果时再处理依赖摄像机的视角信息。
报告了哪些结果和评估细节？
所提供的论文文本没有包含数值准确度结果，也没有与既有方法的比较。因此，无法据此得出具体的深度误差降幅、基准排名，或 GeoState 超越其他模型多少的结论。论文指出，将场景几何与视角分离，能为时序预测提供更合适的目标；但此处提供的文本没有包含量化证据。
现有评估细节涵盖 Waymo、KITTI 和 nuScenes。评估方案对每个序列使用四个历史观测和十个未来目标，并且每个序列最多选取一个时间窗口，以避免较长序列获得更高权重。在 KITTI 中，151 个候选行程有 113 个满足图像、位姿和 LiDAR 数据可用性的要求。nuScenes 验证集设置则从 150 个场景中各选取一个时间窗口。
论文还介绍了一项跨查询几何检验，使用 Waymo 验证集中的 100 个时间窗口，覆盖十个未来时间点。该检验将世界模型的预测与目标时刻由三张图像重建出的几何进行比较。这种重建使用了目标时刻的尺度信息，因此它是基于观测的参照，而不是可直接对比的同类预测系统。报告的训练目标包括平均绝对对数深度误差和局部深度梯度监督。
GeoState 如何工作？
流程从序列中较早时刻的图像和摄像机信息开始。冻结的几何基础模型提取特征，词元化器据此形成场景状态。同时，系统还会对摄像机和射线信息进行编码：摄像机位姿描述摄像机的位置，射线信息则表示图像中各条视线的方向。这些信号帮助模型将图像特征与 3D 几何联系起来。
对于指定视角，解码器首先通过自注意力对场景状态进行条件化处理；自注意力机制可让状态的不同部分交换信息。随后，它将场景词元与表示查询摄像机及其射线的词元结合起来。联合 Transformer 处理这些组合信息，解码器的深度预测头再将结果转换为深度图。预测深度采用与场景表示相同的、基于上下文确定的尺度约定，从而确保输出与状态的构建方式一致。
对于未来预测，世界模型会进行残差更新：它预测对最新 GeoState 的改变量，而不是从头重建整个状态。它使用包含四个状态的滑动上下文，以自回归方式生成未来状态。换言之，每次预测都会成为后续预测上下文的一部分。
未来摄像机位姿未知时，也需要预测摄像机视角。GeoState 的摄像机预测器利用观测到的自运动信息和当前的前向图像，预测未来前向摄像机位姿。它以基于运动的预测为起点，再学习幅度受限的视觉修正。Waymo 和 KITTI 使用直接的多时域摄像机预测；nuScenes 则以 0.25-second 为间隔进行递归预测。
深度损失同时监督整体深度值，以及相邻像素之间的局部深度变化。这些目标鼓励模型保留场景形状，而不只是生成看起来合理的图像特征。
这对机器人技术为何重要？
即使周围物体没有移动，机器人的摄像机也可能移动。只预测下一张图像的模型必须同时处理场景实际变化和摄像机运动。将这两种因素分开，有望让模型在机器人转向、行驶或接近障碍物时更容易预测几何形状，并从感知或规划所需的视角渲染这些几何信息。
对于需要随时间整合观测的移动系统而言，这一区别很重要。以场景为中心的状态有望成为视觉感知与多种任务之间的桥梁，例如预测可通行空间、追踪几何形状的变化，或检查环境从规划的摄像机位姿看起来会是什么样。这些是潜在应用，并非所报告评估已验证的能力：文中描述的测试使用驾驶数据集，而非仓库机器人或通用机器人部署场景。
这一方法可能与评估仓库机器人的团队相关，因为摄像机和平台会在不断变化的环境中移动。GeoState 本身尚未在仓库机器人群上测试，但其核心设计问题——如何在视角变化时保持有用的场景表示——与许多移动机器人息息相关。
有哪些局限和未解问题？
所提供的文本没有给出基准分数、消融结果或数值比较，因此无法在此评估性能收益的大小。文中还介绍了基于驾驶数据集的评估和前向摄像机位姿预测；现有证据不能证明该方法适用于其他机器人类型、传感器配置，或运动模式不同的环境。
GeoState 依赖冻结的基础模型提供几何特征，并复用其密集深度预测头。这减少了重新学习几何的需求，但也意味着学习得到的系统以该模型的表示和深度预测能力为基础。此外，评估方案在数据筛选或标定时还依赖 RGB 图像、摄像机位姿和 LiDAR。若这些输入存在噪声、较为稀疏或无法获取，该方法能否保持可靠仍是一个开放问题。
读者常问哪些问题？
GeoState 预测的是图像还是 3D 几何？ 它预测几何状态，再将该状态解码为指定摄像机视角下的深度信息。
“视角解耦”是什么意思？ 这种场景表示旨在将场景几何与观测场景的摄像机视角分开。生成深度图时，解码器会加入指定视角的信息。
报告的评估使用了哪些数据集？ 所提供的文本介绍了 Waymo、KITTI 和 nuScenes 的评估方案，但没有给出数值准确度结果。
GeoState 是否在仓库机器人或人形机器人上测试过？ 提供的评估细节涵盖驾驶数据集，不包括仓库机器人或人形机器人的部署测试。
核心结论是什么？
GeoState 将未来场景几何，而非未来摄像机图像，作为世界模型的预测目标。它的视角解耦表示为移动机器人技术提供了一个有价值的方向，但所提供的论文文本没有包含判断其优势所需的量化结果。
持久的 3D 场景状态能否帮助移动机器人在视角不断变化时更好地规划？