我们通过使用视觉语言模型对合成3D资产进行伪标记，扩展了前馈式3D物体铰接，实现了一种基于Transformer的架构，该架构在单次前向传播中输出部件分割和关节运动参数。我们的方法支持运动学提示，可直接控制铰接参数，并对AI生成的网格具有鲁棒性，从而为仿真和具身AI训练实现图像条件的铰接3D物体生成。
使用视觉语言模型伪标记3D铰接部件
我们使用此流程对HY3D-Bench-Synthetic中的AI生成资产进行标记，排除完全刚性或具有软非刚性变形的物体。这产生了数千个合成3D资产，涵盖数十个类别。
增强部件分割的3D模型
从HY3D-Bench-Part-Level选取资产时，我们过滤掉可见部件超过某个阈值的资产，因为密集的分割图会使视觉语言模型难以可靠地区分颜色并分配准确的描述。我们为剩余的数千个物体添加描述并将其纳入训练。
注意力机制
查询令牌用于推断每个查询表面点与对应部件的关联。它们通过交叉注意力从形状令牌获取物体形状信息，并从（更新的）部件令牌获取部件信息。关键是，为了速度和避免结果依赖于同时解码的查询点数量，我们不使用查询令牌之间的自注意力。
解码器
获得部件和查询令牌的最终版本后，解码器头提取部件分割和关节运动参数。
铰接3D物体生成与运动学提示
虽然我们的模型以现有3D资产为输入，但它对AI生成的网格具有鲁棒性，从而可通过现成的3D生成器实现图像条件的铰接3D物体生成。此流程可支持为具身AI训练创建多样化的仿真资产。
失败案例与局限性
虽然我们的模型通常对AI生成的网格具有鲁棒性，但分割伪影仍可能发生，例如CD播放器的右旋钮。由于每个关节轴通过聚合预测部件上查询点的投票来估计，此类局部错误可能传播到关节运动估计。生成网格中的伪影也会降低预测质量，如CD播放器中的浮动组件和冰箱中缺失的部件分离所示。
常见问题
Instruct-Particulate支持哪些类型的3D资产？ 该模型同时支持现有3D资产和AI生成的网格，使其适用于通过现成3D生成器进行图像条件的铰接3D物体生成。
模型如何避免密集分割图带来的性能问题？ 训练过程中会过滤掉可见部件过多的资产，因为密集的分割图使视觉语言模型难以可靠地区分颜色并分配准确的描述。
模型为何避免查询令牌之间的自注意力？ 省略查询令牌之间的自注意力是为了速度，并防止结果依赖于同时解码的查询点数量。
Instruct-Particulate的主要失败模式是什么？ AI生成网格中的分割伪影可能导致局部错误传播到关节运动估计，而生成网格本身的伪影会整体降低预测质量。