研究者曾利用 CAD 模型的合成渲染图进行弱监督,将特征空间与侧重几何信息的归一化物体坐标(Normalized Object Coordinates,NOCs)对齐。然而,在合成且孤立的数据上训练的模型,难以泛化到真实场景中的杂乱环境、遮挡和外观变化。除了训练数据本身,现有方法还常在高维语义特征空间中进行最近邻匹配,这不仅占用大量内存和计算资源,也没有充分利用问题所具有的刚性几何结构。因此,匹配结果往往包含较多噪声,通常还需要代价高昂的迭代优化才能恢复准确结果。
问题定义
给定一张 RGB 图像、相机内参,以及通过现成方法检索得到的候选 CAD 模型,目标是估计从 CAD 坐标系到相机坐标系的 9D 变换。

整体 CAD 拟合流程
SUFLECA 采用了此前研究中使用的标准间接 CAD 对齐流程。
数据集
DiffCAD 划分涵盖 ScanNet25k 中的六个物体类别。评测不使用 NMS,并采用未经微调的深度数据。该划分由 DiffCAD 提出,其先验信息目前仅适用于这六个类别。
实验结果
在 CO3D 上,评测使用带遮挡的掩码和不完全准确的检索 CAD 模型,因此会产生明显的前后方向与左右方向几何歧义。在这一具有挑战性的设置下,SUFLECA 对物体三维结构的定位明显优于其他方法,其特征也更能有效消除这类歧义。在已见类别上,SUFLECA 的所有变体表现相近,且均优于竞争方法,凸显了弱监督的有效性。对于未见类别,SUFLECA-blend 通常优于其他方法;它以更大的特征表示为代价,弥补了罕见物体监督覆盖不足的问题。
常见问题
SUFLECA 与现有的 CAD-to-image 对齐方法有何不同? SUFLECA 利用合成 CAD 渲染图提供的弱监督来扩展特征学习,减少对昂贵的真实标注数据的依赖,并提升模型在杂乱场景中的泛化能力。
SUFLECA 解决了哪些关键挑战? 该方法针对遮挡、外观变化,以及在真实环境中使用孤立 CAD 模型时产生的前后方向混淆等几何歧义。
SUFLECA 如何在不同物体类别上进行评测? 该方法在 ScanNet25k 的 DiffCAD 划分(六个类别)和 CO3D 数据集上进行测试,并分别报告已见类别与未见类别上的表现。
SUFLECA-blend 引入了怎样的权衡? 该变体采用更大的特征表示,以弥补罕见物体监督不足的问题,从而提升未见类别上的性能,但会增加内存开销。
