一套基于智能手机的工作流程将焊接接头映射到三维模型中，均方根误差为4.2毫米，为机器人进行打磨或检测提供了实用的粗略目标。该系统结合SegFormer图像分割、摄影测量和多视角融合，可以在较慢的高精度扫描聚焦焊缝之前，快速筛查大型工件。
目录
研究人员构建了什么？
研究人员构建了一套视觉流程，能够在普通相机拍摄的图像中找到焊缝，并将焊缝定位到工件的三维重建模型上。该方法定位为详细扫描之前的快速初筛步骤，可用于机器人打磨、修整、表面处理或检测。
测试装置使用一部普通智能手机、68张图像，以及布置在焊接钢制部件周围的两组AprilTag标记。AprilTag是带有已知尺寸的印刷视觉标记，既能提供比例尺，也能帮助将不同视角的图像对齐到同一个坐标系中。
测试工件由两根矩形空心钢管组成，二者通过一条连续的环向对接焊缝连接。工件长40厘米、宽10厘米、高5厘米。相机以1,920 × 1,080像素的分辨率拍摄了所有可接近的侧面。
同一组图像被用于两条处理分支。一条分支使用RealityScan重建工件，并估计相机位置、相机标定参数和深度图；另一条分支使用SegFormer语义分割模型，将每个图像像素标记为焊缝或背景。
随后，系统将焊缝形状的掩膜压缩为一条细中心线，并把这条中心线投影到重建的三维模型中。最终得到的是一张空间焊缝地图，而不只是二维图像中的高亮区域。
取得了哪些关键结果？
这套流程生成了可用的测试焊缝三维表示，但研究结果有意将其定位为概念验证，而不是完整的工业精度基准。重建工件的尺寸与实物相比相差约3毫米。最终投影得到的焊缝中心线，与人工标注参考线相比，均方根误差为4.2毫米。
对于粗略定位而言，这一精度已经足够，尤其适合用来引导后续高精度扫描，将扫描范围集中在目标区域。不过，它还不能替代直接控制打磨工具沿焊缝表面作业所需的精确几何信息。
| 测量项 | 报告结果 | 实际意义 |
|---|---|---|
| 训练图像数量 | 388 | SegFormer模型使用的图像规模有限 |
| 拍摄测试图像数量 | 68 | 覆盖工件的多视角图像 |
| 图像分辨率 | 1,920 × 1,080像素 | 智能手机级别的输入 |
| 测试工件尺寸 | 40 × 10 × 5厘米 | 演示工件的实际尺寸 |
| AprilTag标记间距 | 5.2厘米 | 用于比例尺和对齐的参考值 |
| 重建尺寸误差 | 约3毫米 | 整体三维模型精度 |
| 焊缝定位误差 | 4.2毫米RMSE | 与人工标注焊缝路径的差异 |
分割模型在大多数拍摄图像中都识别出了焊缝。漏检主要出现在光照变化、反光或表面外观复杂的情况下。模型有时还会将非焊缝区域误判为焊缝，从而生成错误的样条点。
原文没有报告该方法与激光扫描仪、结构光系统或低分辨率深度相机之间的直接对比。相反，这项结果证明了智能手机图像可以支持一个实用的粗略定位环节。
这套流程如何工作？
流程首先在焊接部件周围布置AprilTag标记。由于标记的尺寸和间距已知，这些标签可以建立实际比例尺，并为不同视角的匹配提供参考点。随后，智能手机从多个角度拍摄相互重叠的图像，使重建软件能够在整组图像中识别共同的视觉特征。
RealityScan将这些图像处理为三维点云或表面表示，同时输出每张图像对应的相机位姿、相机内参和深度图。相机位姿描述拍摄图像时相机所处的位置和朝向；深度图则估计可见表面距离相机的远近。
与此同时，SegFormer网络执行二分类语义分割。它并不是用一个边界框检测整条焊缝，而是将每个像素标记为焊缝或背景，从而生成能够贴合焊缝可见形状的掩膜。
系统会先通过去除较小的噪声区域并分离连通分量来清理掩膜。随后，主成分分析估计每个分量的主方向。算法沿该方向对掩膜进行切片，计算每个切片中的中心点，再将这些点连接成一条类似样条线的二维中心线。
每个中心线点都会结合其深度值和相机标定参数，从图像坐标转换为相机坐标。随后，利用对应的相机位姿，将该点变换到三维重建所使用的全局坐标系中。来自不同图像的点会被合并，重复点被删除，离群点则被过滤。
由于同一条焊缝可能出现在多张照片中，这一步融合非常重要。系统不再保留彼此不一致的二维检测结果，而是将它们合并为一条位于重建工件上的近似三维焊缝路径。
这对机器人技术为何重要？
机器人进行焊后处理前，必须先知道焊缝的位置。无论是打磨、去毛刺、表面处理还是检测，机器人需要的不只是一张照片，还需要在工件三维坐标系中表达的作业路径。这套流程正是将视觉识别结果连接到空间表示上。
它带来的主要作业优势是选择性测量。对大型部件进行完整高分辨率扫描可能耗时较长，还会产生大量点云数据，其中许多与目标无关。基于图像的快速扫描可以先找出疑似焊缝区域，之后再使用激光扫描仪、结构光传感器或其他精密系统，仅对这些区域进行检测。
这种分工方式适合已经使用工业机器人进行打磨或检测的工厂。正在为相关工作站评估设备的企业，可以浏览二手工业机器人，再根据目标扫描或打磨流程匹配机器人的工作范围、负载能力和工具接口。规模较小的企业也可以考虑在售二手协作机器人，让人类工人与机器人在同一个表面处理工位协同作业。
这种方法还减少了对固定夹具或预编程焊缝坐标的依赖。如果工件位置发生变化，摄影测量模型和AprilTag参考点可以建立新的坐标系。这种灵活性对于小批量制造、维修作业和大型焊接结构尤其有价值。
目前的输出更适合被视为一张引导地图。它可以缩小机器人或精密传感器的搜索范围，但还不能计算自主表面处理所需的完整工具姿态、接触力、表面法向量或无碰撞运动轨迹。
有哪些局限和未决问题？
模型仅使用388张图像进行训练，因此其表现很大程度上取决于训练数据所涵盖的变化范围。光照变化、眩光、表面反射、图像模糊、焊缝外观和背景材料都会导致分割错误。摄影测量同样依赖足够的纹理和图像质量；反光金属或视觉纹理单一的表面会增加重建难度。
实验只使用了一个相对简单的工件和一条连续环向焊缝。因此，它无法说明该方法在角焊缝、断续焊缝、窄焊缝、复杂装配体或大型生产部件上的表现。报告的4.2毫米RMSE衡量的是相对于人工标注线的定位误差，而不是机器人工具在接触表面处的最终作业精度。
未来研究需要更广泛的训练数据、更强的数据增强方法、更完善的三维路径优化、局部表面法向量估计和工具姿态规划。关键的未决问题是：面对形态各异的工业部件，这种粗略地图能否始终保持足够的可靠性，用于引导精密扫描和机器人轨迹生成。
常见问题
智能手机相机能在三维空间中定位焊缝吗？ 可以。这套流程结合智能手机图像、摄影测量深度、相机位姿和基于图像的焊缝分割，生成近似的三维焊缝路径。
焊缝定位精度是多少？ 投影得到的焊缝中心线，相对于人工标注参考线的均方根误差为4.2毫米。
这套系统能直接控制机器人打磨机吗？ 目前还不能。它只能提供粗略的焊缝位置；直接控制工具仍需要精细几何信息、表面法向量、工具姿态、碰撞检查和过程力控制。
为什么使用摄影测量，而不是完整的三维扫描仪？ 摄影测量可以作为成本更低、覆盖范围更广的初筛步骤。它能够先找出值得进行详细扫描的区域，而无需对每个表面都进行高分辨率测量。
结论
这项研究展示了一条从智能手机图像到三维焊缝地图的完整路径，将SegFormer分割、摄影测量重建和多视角融合结合起来。在测试工件上，该方法实现了约3毫米的模型误差和4.2毫米的焊缝线RMSE，为未来的机器人打磨和检测系统提供了可信的粗略定位层。
粗略的三维焊缝地图，能否让机器人在更多大型工件上实现实用化表面处理？