FAMOS 以部分点云形式的稀疏观测为输入，通过多状态关节 Transformer，在单次前向传播中预测关节物体的可动部件及其运动学属性。
多状态关节 Transformer
我们基于近期用于前馈式关节预测的查询式 Transformer 架构展开研究。不同于以往仅处理单个完整点云的方法，我们的模型必须整合分散在多个部分点云中的信息，而这些点云在可见几何结构和关节状态上各不相同。针对这一需求，我们结合各状态的几何上下文与跨状态的关节线索，设计了相应的方法。
观测到的关节运动范围
将某次观测中某个部件的真实关节值（例如角度或位移）定义为该部件的关节状态。将能够看到某个部件的观测集合定义为该部件可用的观测。
对于至少在一次观测中可见的部件，目标是计算其观测到的关节值所覆盖的运动范围。旋转关节的关节值以弧度表示，移动关节的关节值则以物体归一化单位表示。
训练目标
模型使用匈牙利算法进行匹配，其中观测中某个点的掩码 logits提供预测的分割信息。匹配会联合所有观测进行计算，因此在不同状态之间共享。未匹配的查询不参与损失计算。
程序化训练数据生成
除了现有关节物体数据集之外，我们还构建了一个参数化资产生成器，其标注在生成时即可确定。该生成器采用模块化架构，以基础形状基元为构件，因此可以方便地扩展到由相同组成形状构成的新物体类别。
实现细节
我们从 PartNet-Mobility 和 GRScenes 中获取关节物体资产，并对两个数据集进行筛选，仅保留具有明显且外部可见关节运动的物体；按钮、旋钮等较小部件则视为静态部件。
最终，PartNet-Mobility 提供了来自 25 个类别的 1,020 个物体，GRScenes 提供了来自 15 个类别的 968 个物体。此外，我们的程序化生成器还能持续生成无限量的自标注资产。
定性结果
定性结果覆盖全部三个评测基准。与基线方法相比，FAMOS 能够更可靠地识别可动部件，并更准确地估计关节轴；基线方法则更容易出现欠分割和过分割。
结论
我们提出了 FAMOS，一种从稀疏单目观测中建模关节物体的前馈式方法。该方法利用多状态关节 Transformer，在多个部分点云之间进行联合推理，并交替执行状态内注意力与全局注意力。
我们进一步提出观测到的关节运动范围目标，鼓励模型利用完整观测集合中的跨状态关节线索。为扩大训练数据的规模与多样性，我们设计了一个程序化资产生成器，在训练过程中实时合成带有自标注的关节物体。
在三个基准上的实验表明，与现有前馈式方法和基于优化的方法相比，我们的方法均取得了稳定提升；定性结果也显示出其对真实世界采集数据的良好泛化能力。
资产系列
为扩大可用数据集的规模并避免几何记忆，我们的程序化生成器能够持续合成无限量的带标注三维关节物体。我们将这些资产分为三大类。
我们设计了三类柜体：
- 铰链柜，涵盖前门、顶门和侧门，并支持单开、双开或对开形式。
- 抽屉柜，可堆叠数量可变的滑动抽屉。
- 组合柜，包含左右并列的两个分区，结合柜门与抽屉结构。
除柜体外，该系列还包括：
- 支持摆动、滑动和升降运动的门。
- 配有对开式或铰链式盖板及滑动托盘的箱体。
常见问题
FAMOS 预测什么？ FAMOS 根据稀疏的部分点云观测，预测关节物体的可动部件及其运动学属性。
什么是多状态关节 Transformer？ 它是一种 Transformer，能够整合多个部分点云中的几何信息，而这些点云具有不同的可见几何结构与关节状态。
什么是观测到的关节运动范围目标？ 它鼓励模型利用部件在所有可见观测中的关节线索。
额外的程序化训练数据如何生成？ 参数化资产生成器在训练过程中利用模块化形状基元创建带有自标注的关节物体。