来自中国的一个研究团队推出了RelGraphOV框架，该框架通过显式建模物体之间的关系，让机器人能够使用开放词汇查询理解3D场景。它不再孤立地处理每个物体，而是构建一个3D场景图，捕捉物体之间的关系（例如，“椅子在桌子旁边”），并利用这种上下文来显著提高对新颖、用户定义类别的分割精度。
目录
研究人员构建了什么
大多数开放词汇3D场景理解系统独立处理每个点或物体，将其特征与“绿色杯子”或“转椅”等语言嵌入进行匹配。这对于孤立物体有效，但当上下文重要时就会失败——例如，“桌子旁边的椅子”可能看起来与单独放置的椅子一模一样，但功能角色不同。
RelGraphOV通过在标准开放词汇骨干网络上添加一个关系感知层来解决这个问题。该系统首先从重建的点云构建一个3D场景图：节点代表物体（由预训练检测器分割），边捕捉空间和语义关系，如“坐在...上”、“附着在...上”或“靠近”。为了在没有手动标签的情况下构建这些边，研究人员设计了一个自动化的多视角推理引擎，使用视觉语言模型从多个2D相机角度观察同一场景，比较冲突的描述，并通过投票选出最可能的关系。
图构建完成后，一个带有自适应门控机制的自定义图注意力网络将物体自身的特征与其关系上下文融合。然后，这个“上下文化”的特征通过层次对比学习与文本嵌入对齐，用于开放词汇分割任务。
关键结果
RelGraphOV在ScanNet、Matterport3D和S3DIS数据集上进行了3D语义分割评估，使用开放词汇指标（mIoU和mAcc）。该框架始终优于先前的最先进方法。
- 在ScanNet上，RelGraphOV在开放词汇分割中达到了71.2% mIoU和79.8% mAcc，相比OpenScene（之前最佳的开放词汇基线）相对提升了+6.3% mIoU。
- 在Matterport3D上，它达到了65.4% mIoU，比OpenScene高出+5.1个百分点，并且在对开放词汇类别进行评估时，优于所有闭集分割模型。
- 跨数据集泛化测试（在ScanNet上训练，在Matterport3D上测试）显示，相比最强基线，mIoU提升了+4.7%，证明了关系感知特征可以很好地迁移到未见过的环境中。
对于依赖于上下文的物体，增益尤为明显——例如，“台灯”（通过与桌子的关系正确区分于落地灯）和“支架上的显示器”与独立屏幕。消融研究证实，移除场景图层会使性能回落到接近OpenScene水平，而自适应门控机制相比标准GAT额外贡献了1.8% mIoU。
工作原理
RelGraphOV包含三个主要阶段：
- 场景图构建——给定重建的3D场景（点云），系统首先运行一个开放词汇3D检测器（基于LSeg）生成物体提议，并带有初始逐点特征。物体被链接成一个图，其中每个节点持有一个特征向量和从不同视角拍摄的2D图像裁剪列表。对于每对物体，使用提示如“物体A和物体B之间的关系是什么？”查询VLM（例如，BLIP-2）。多视角引擎收集来自多个相机角度的响应，使用多数投票或置信度加权融合解决不一致，并分配一个关系标记（例如，“在...上”、“旁边”、“内部”）。结果是带有独热关系编码的有向或无向边。
- 自适应门控双流上下文GAT——这是核心精化模块。它从LSeg获取初始物体特征，并通过两个并行流处理：一个局部自注意力流（上下文无关）和一个关系流，后者注入边特征（关系嵌入）。自适应门控网络学习根据物体类型及其局部图邻域平衡两个流。然后，通过一个尊重边方向和关系类型的GAT，门控特征在图邻居之间聚合。输出是每个物体丰富、上下文感知的特征向量。
- 层次对比学习——为了将这些物体级特征与开放词汇文本对齐，系统在多个尺度上使用对比损失：节点级（物体与文本短语）、图级（场景描述与整个图嵌入）和簇级（相关物体组与复合描述）。这迫使模型同时编码孤立和关系语义。
这对机器人技术为何重要
对于在仓库中导航、从货架上取物品或在家庭中协助的机器人来说，它必须理解的不仅是什么物体存在，还有它们如何相关。叉车需要知道托盘“在”堆叠“上面”，而不仅仅是存在一个托盘。寻找“桌子下的垃圾桶”的移动操纵器直接从关系感知中受益。
RelGraphOV提供了一种实用、训练高效的方式，将这种关系上下文注入现有的开放词汇流程中。它适用于机器人技术中常见的静态重建数据（例如，SLAM地图、制造的点云），并且不需要手动关系标注——VLM自动完成标注。这意味着任何已经使用3D传感器和预训练物体检测器的机器人，都可以以最少的新数据升级到关系感知的场景理解。
跨数据集结果对于仓库和工厂设置尤其有前景，这些环境中机器人每天都会遇到新的布局。在二手工业机器人页面上，操作员通常需要适应不断变化环境的机器人；RelGraphOV式的感知可以使新的拾放或检查任务的编程更快。类似地，导航通道并与箱子互动的仓库机器人将受益于理解“货架在箱子上方”或“传送带在工作站旁边”等空间约束。
局限性和开放性问题
RelGraphOV目前使用固定的LSeg和CLIP骨干网络，这意味着初始特征可能错过较新密集VLM捕捉到的细粒度视觉细节。作者指出这是自然的下一步。此外，场景图是从静态重建中构建的——处理动态场景中移动的物体和变化的关系（例如，一个人坐到桌子旁）需要时间一致的图更新，这仍然是一个开放的挑战。
基于VLM的关系标注也只与所提供的2D视角一样好；对于高度遮挡的物体或模糊的空间排列（例如，“接触”与“堆叠”），多视角投票可能仍然产生噪声标签。最后，该方法假设预先分割的物体提议，因此初始分割中的失败（欠分割或过分割）会传播到图中。
常见问题解答
什么是3D场景图？ 3D场景图是一个图，其中节点代表3D环境中的物体，边代表它们的空间或语义关系，如“在...上面”、“附着在...上”或“旁边”。
RelGraphOV如何在没有手动标注的情况下创建关系标签？ 它使用视觉语言模型从多个相机视角检查同一对物体，然后通过投票机制解决冲突的描述，自动生成关系标签。
RelGraphOV是否需要为每个新环境重新训练？ 不需要。该模型在标准室内数据集（ScanNet）上训练一次，并在没有额外训练的情况下泛化到新场景，其在Matterport3D上强大的跨数据集性能证明了这一点。
运行RelGraphOV需要什么硬件？ 该系统使用单个GPU（RTX 3090）在预构建的场景图上进行推理。VLM标注步骤是最昂贵的部分，但可以离线运行。
结论
RelGraphOV表明，在不进行手动标注的情况下，向开放词汇3D场景理解添加显式关系推理可以带来显著的精度提升。通过利用3D场景图和自适应图注意力网络，机器人最终可以像人类一样感知场景——作为相互连接的整体，而不是孤立的物体。
您会如何使用关系感知来简化设施中实际的机器人任务？