相关工作
结构化视觉提示
另一条互补路线是将场景重新整理为多模态大语言模型已经擅长解析的二维输入。Set-of-Mark prompting 会在图像上叠加视觉锚点；GPT4Scene 将视频帧与全局鸟瞰图配对；Struct2D 则将带标记的鸟瞰图与物体元数据配对，并分别提供零样本和微调两种形式。
这些方法对每个问题都采用同一种固定渲染方式，而 GraFT 的鸟瞰图模块会按需渲染。每个视图都以问题为条件，并且只显示问题涉及的物体。
工具增强的空间推理
另一条路线是让模型调用外部工具。SpatialScore 的 SpatialAgent、TIGeR 和 SpaceTools 允许多模态大语言模型调用深度、位姿或边界框估计器，通常需要针对每个问题重新运行感知模块。
GraFT 只在构建场景图时运行一次感知。此后，推理阶段的工具直接在场景图上执行确定性的几何计算，从而让所有问题共享同一次感知结果。
符号模块：几何工具
每个物体的边界框都编码了其在三维空间中的位置、尺寸和朝向，精度取决于上游感知结果。任何由这些几何信息决定的量，都可以直接从边界框中确定，因此其准确度继承自感知模块，而不需要由主干模型重新估计。
从图像中推断这些量只会在原有基础上引入额外误差。因此，GraFT 通过符号几何工具直接从三维场景图中计算它们；这些工具读取的就是物体边界框：
- 计数工具列出每种物体类别及其实例数量。
- 尺寸工具返回物体的宽度、深度和高度，即其边界框在各方向上的尺寸。
- 距离工具测量两个物体类别的边界框之间的表面对表面距离。
- 邻近度工具根据多个候选类别与锚定物体之间的最近距离进行排序，从而确定哪个最近或最远。
- 房间工具返回房间的宽度、深度、高度和地面面积。
每个工具都以确定性的方式处理边界框，因此数值计算的任何环节都不会经过主干模型。
解决一个几何任务只需调用一次工具。GraFT 不会串联工具，也不会将一个工具的输出传给下一个工具，从而将符号模块保持为单一的确定性步骤。
GraFT 与既有工作对比
在最后一项实验中，GraFT 接受了能否媲美空间推理专用训练模型的检验。研究在论文报告的子集以及完整的 VSI-Bench 上，将 GraFT 与 Struct2D 进行了正面对比，并采用了更符合实际的感知设置。
所引用的表格未包含在所提供的论文正文中。
结论
GraFT 是一个免训练框架。它通过在单一三维场景图上进行操作，让冻结的多模态大语言模型具备三维空间推理能力。
基于这张三维场景图，GraFT 衍生出三种互补能力：
- 用于度量估计的符号几何工具。
- 用于理解以观察者为中心布局的选择性渲染鸟瞰图。
- 用于识别视觉属性的按几何关系排序的自我中心视图。
每种能力都会为主干模型提供任务所需的证据。在真实标注和现实感知两种设置下进行的模块级实验，分别验证了各项能力在目标任务上的有效性。
在 VSI-Bench 平均分上，GraFT 让三个开源主干模型提升了 37% 至 65%，最高达到 51.4 分，并超过了多个为进行空间推理而微调的模型。即使是 3B 主干模型，也超过了最强的 72B 基线模型。
这些结果表明，只要配合一张紧凑的三维场景图，冻结的多模态大语言模型本身就能成为强大的空间推理器，无需空间监督，也无需针对主干模型设计专用编码器。
其主要局限在于，准确度受场景图质量限制。由于这张紧凑的图易于维护，且可供所有能力共享，因此还可以在其上增加新的模块，将 GraFT 扩展到更多空间任务。
三维场景图构建
在真实标注感知设置下，场景图由 ARKitScenes、ScanNet 和 ScanNet++ 的数据集标注构建而成。
在现实感知设置下，GraFT 遵循 Struct2D 的方案。场景先离线重建，再使用 UniDet3D 和 Mask3D 检测物体，随后将结果转换为与真实标注三维场景图相同的图结构。这张图便构成推理模块的接口。
每帧的相机位姿和内参也会与场景图一同保存，供自我中心模块使用。
常见问题
GraFT 是什么？ GraFT 是一个免训练框架，使冻结的多模态大语言模型能够在单一三维场景图上执行三维空间推理。
GraFT 能从场景图中获得哪些能力？ 它提供符号几何工具、选择性渲染的鸟瞰图，以及按几何关系排序的自我中心视图。
GraFT 如何处理几何任务？ 它通过一次符号工具调用，根据物体边界框确定性地计算相关量，不进行工具串联。
GraFT 的主要局限是什么？ 其准确度受所构建场景图质量的限制。