스마트폰 이미지로 용접선을 3D 매핑해 로봇 후처리에 활용

스마트폰 기반 워크플로가 용접부를 3D 모델에 매핑해 평균제곱근오차(RMSE) 4.2mm를 기록했다. 이를 통해 로봇이 연마나 검사 작업을 수행할 때 활용할 수 있는 실용적인 개략 위치 정보를 얻을 수 있다. 이 시스템은 SegFormer 이미지 분할, 사진측량, 다중 시점 융합을 결합한다. 대형 작업물을 빠르게 선별한 뒤, 용접부에 초점을 맞춰 더 느리지만 정밀한 스캔을 수행할 수 있도록 하는 방식이다.

목차

• 연구진은 무엇을 개발했나?
• 핵심 결과는 무엇인가?
• 파이프라인은 어떻게 작동하나?
• 이 기술이 로보틱스에 중요한 이유는 무엇인가?
• 한계와 남은 과제는 무엇인가?
• 자주 묻는 질문
• 결론

연구진은 무엇을 개발했나?

연구진은 일반 카메라 이미지에서 용접선을 찾은 뒤, 이를 작업물의 3D 복원 모델에 배치하는 비전 파이프라인을 개발했다. 이 방식은 정밀 스캔에 앞서 수행하는 빠른 1차 단계로 설계됐으며, 로봇 연삭, 표면 다듬기, 마감 처리, 검사 등에 활용할 수 있다.

시험에는 일반 스마트폰 카메라와 68장의 이미지, 그리고 용접된 강철 부품 주변에 배치한 두 장의 AprilTag 마커 시트가 사용됐다. AprilTag는 크기가 알려진 인쇄형 시각 마커다. 마커는 실제 크기 기준을 제공하고 카메라 시점을 하나의 공통 좌표계에 정렬하는 데 도움을 준다.

시험 작업물은 두 개의 직사각형 중공 강관을 연속 원주 맞대기 용접으로 연결한 형태였다. 크기는 길이 40cm, 너비 10cm, 높이 5cm였다. 카메라는 1,920 × 1,080픽셀 해상도로 촬영 가능한 모든 면을 담았다.

동일한 이미지가 두 개의 처리 경로에 사용됐다. 한 경로에서는 RealityScan이 작업물을 3D로 복원하고 카메라 위치, 카메라 보정값, 깊이 맵을 추정했다. 다른 경로에서는 SegFormer 시맨틱 분할 모델이 각 이미지의 픽셀을 용접부와 배경으로 분류했다.

그다음 시스템은 용접부 형태의 마스크를 가느다란 중심선으로 축약하고, 이 중심선을 복원된 3D 모델에 투영했다. 그 결과 단순히 2D 이미지에서 용접부를 표시하는 것을 넘어, 용접선의 공간적 위치를 나타내는 지도가 만들어졌다.

핵심 결과는 무엇인가?

이 워크플로는 시험 용접부를 활용 가능한 3D 형태로 표현했다. 다만 연구진은 이 결과를 완성된 산업용 정확도 벤치마크라기보다 개념 검증으로 제시했다. 복원된 작업물의 치수는 실제 물체와 약 3mm 차이를 보였다. 최종적으로 투영된 용접 중심선은 수작업으로 표시한 기준선과 비교했을 때 평균제곱근오차 4.2mm를 기록했다.

이 정도 정확도는 개략적인 위치 파악에는 충분하다. 특히 이후 고정밀 스캔이 수행될 관심 영역을 지정하는 용도로 적합하다. 그러나 용접 표면에 연삭 공구를 직접 밀착해 제어하는 데 필요한 정밀한 형상 정보를 대체할 수준은 아직 아니다.

분할 모델은 촬영된 이미지 대부분에서 용접부를 식별했다. 검출 누락은 주로 조명 변화, 반사, 복잡한 표면 상태에서 발생했다. 용접부가 아닌 영역을 용접부로 분류하는 경우도 있어 잘못된 스플라인 점이 생성되기도 했다.

원문에서는 레이저 스캐너, 구조광 시스템, 저해상도 깊이 카메라와의 직접 비교 결과를 제시하지 않았다. 대신 스마트폰 이미지가 실용적인 개략 위치 파악 단계에 활용될 수 있음을 보여주는 데 초점을 맞췄다.

파이프라인은 어떻게 작동하나?

먼저 용접된 부품 주변에 AprilTag 마커를 배치한다. 마커의 크기와 간격을 알고 있으므로, 태그는 실제 크기 기준과 여러 시점을 정렬하기 위한 기준점을 제공한다. 스마트폰은 여러 각도에서 서로 겹치는 이미지를 촬영하고, 복원 소프트웨어는 이미지 집합 안에서 공통으로 나타나는 시각적 특징을 찾아낸다.

RealityScan은 이 이미지들을 처리해 3D 점군 또는 표면 모델을 만든다. 또한 각 이미지의 카메라 자세, 내부 카메라 파라미터, 깊이 맵을 제공한다. 카메라 자세는 이미지를 촬영할 때 카메라가 어디에 있었고 어떤 방향을 향했는지를 나타낸다. 깊이 맵은 보이는 표면이 카메라에서 얼마나 떨어져 있는지를 추정한다.

동시에 SegFormer 네트워크는 이진 시맨틱 분할을 수행한다. 용접부를 하나의 경계 상자로 찾는 대신, 각 픽셀을 용접부 또는 배경으로 분류한다. 이렇게 만들어진 마스크는 눈에 보이는 용접선의 형태를 따라간다.

이후 작은 노이즈 영역을 제거하고 연결된 구성 요소를 분리해 마스크를 정제한다. 주성분 분석으로 각 구성 요소의 주된 방향을 추정한다. 알고리즘은 그 방향을 가로지르도록 마스크를 여러 구간으로 나누고, 각 구간의 중심점을 계산한 뒤 이 점들을 연결해 스플라인 형태의 2D 중심선을 만든다.

각 중심선 점은 깊이값과 카메라 보정값을 이용해 이미지 좌표에서 카메라 좌표로 변환된다. 이어 해당 카메라의 자세 정보를 사용해 3D 복원에 쓰인 전역 좌표계로 점을 변환한다. 여러 이미지에서 얻은 점을 병합하고 중복을 제거한 다음 이상치를 필터링한다.

이 융합 단계가 중요한 이유는 하나의 용접선이 여러 사진에 나타날 수 있기 때문이다. 시스템은 서로 따로 존재하며 일관되지 않을 수 있는 2D 검출 결과를 그대로 유지하지 않고, 이를 하나의 대략적인 3D 용접 경로로 통합한다.

이 기술이 로보틱스에 중요한 이유는 무엇인가?

로봇 후처리 작업은 공구가 용접선을 따라 움직이기 전에 용접부의 위치를 알아야 한다. 연삭, 버 제거, 마감, 검사를 수행하는 로봇에는 사진만으로는 부족하다. 작업물의 3D 좌표계로 표현된 경로가 필요하다. 이 워크플로는 시각 인식 결과를 그러한 공간 표현으로 연결한다.

가장 큰 실무적 이점은 측정 대상을 선별할 수 있다는 점이다. 대형 부품 전체를 고해상도로 스캔하면 시간이 오래 걸리고 방대한 점군 데이터가 생성되며, 그중 상당 부분은 실제로 필요하지 않을 수 있다. 빠른 이미지 기반 1차 처리를 통해 용접 가능 영역을 찾은 뒤, 레이저 스캐너나 구조광 센서 같은 정밀 시스템으로 해당 영역만 검사할 수 있다.

이러한 역할 분담은 이미 마감이나 검사 작업에 산업용 로봇을 사용하는 공장에 적합하다. 이 작업 셀에 사용할 장비를 검토하는 기업은 중고 산업용 로봇을 살펴보고 로봇의 작업 반경, 가반하중, 공구 인터페이스를 목표로 하는 스캔 또는 연삭 공정에 맞출 수 있다. 규모가 작은 사업장이라면 작업자와 로봇이 하나의 마감 스테이션을 공유할 수 있도록 판매 중인 중고 협동로봇을 고려할 수도 있다.

이 방식은 고정 지그나 사전에 입력한 용접 좌표에 대한 의존도도 낮춘다. 작업물의 위치가 바뀌더라도 사진측량 모델과 AprilTag 기준을 이용해 새로운 좌표계를 만들 수 있다. 이러한 유연성은 다품종 소량 생산, 수리 작업, 대형 제작 구조물에 특히 유용하다.

현재 출력 결과는 안내용 지도에 가깝다. 로봇이나 정밀 센서가 탐색해야 할 영역을 좁혀 주지만, 자율 마감에 필요한 완전한 공구 자세, 접촉력, 표면 법선, 충돌 없는 경로까지 계산하지는 않는다.

한계와 남은 과제는 무엇인가?

모델은 388장의 이미지만으로 학습됐기 때문에 성능이 학습 데이터에 포함된 상황의 다양성에 크게 좌우된다. 조명 변화, 눈부심, 표면 반사, 이미지 흔들림, 용접부의 외관, 배경 재질 등이 모두 분할 오류를 일으켰다. 사진측량 역시 충분한 질감과 이미지 품질에 의존하므로, 반사성이 높거나 시각적으로 균일한 금속 표면에서는 복원이 더 어려워질 수 있다.

실험에는 비교적 단순한 작업물 하나와 연속 원주 용접 하나만 사용됐다. 따라서 필릿 용접, 간헐 용접, 좁은 이음매, 복잡한 조립체, 대형 생산 부품에서의 성능까지 입증한 것은 아니다. 보고된 4.2mm RMSE는 수작업으로 표시한 선을 기준으로 한 위치 오차이며, 공구가 표면에 접촉하는 최종 단계에서의 로봇 정확도를 의미하지 않는다.

앞으로는 더 폭넓은 학습 데이터, 강력한 데이터 증강, 개선된 3D 경로 정제, 국소 표면 법선 추정, 공구 자세 계획이 필요하다. 핵심 과제는 다양한 산업 부품에서 이 개략 지도가 정밀 스캔과 로봇 궤적 생성을 안정적으로 유도할 만큼 신뢰할 수 있는지 확인하는 것이다.

자주 묻는 질문

스마트폰 카메라로 용접선을 3D에서 찾을 수 있나? 가능하다. 이 워크플로는 스마트폰 이미지, 사진측량으로 얻은 깊이 정보, 카메라 자세, 이미지 기반 용접부 분할을 결합해 대략적인 3D 용접 경로를 만든다.

용접선 위치는 얼마나 정확했나? 투영된 용접 중심선은 수작업으로 표시한 기준선과 비교했을 때 평균제곱근오차 4.2mm를 기록했다.

이 시스템으로 로봇 연삭기를 바로 제어할 수 있나? 아직은 어렵다. 이 시스템은 용접부의 개략적인 위치를 제공한다. 공구를 직접 제어하려면 정제된 형상, 표면 법선, 공구 자세, 충돌 검사, 공정 힘 제어가 추가로 필요하다.

완전한 3D 스캐너 대신 사진측량을 사용하는 이유는 무엇인가? 사진측량은 비용이 낮고 넓은 영역을 빠르게 선별할 수 있다. 모든 표면을 고해상도로 측정하지 않고도 정밀 스캔이 필요한 영역을 찾아낼 수 있다.

결론

이번 연구는 SegFormer 분할, 사진측량 기반 복원, 다중 시점 융합을 결합해 스마트폰 이미지에서 3D 용접선 지도로 이어지는 통합 경로를 보여줬다. 시험 부품에서 약 3mm의 모델 오차와 4.2mm의 용접선 RMSE를 기록한 이 방식은 향후 로봇 마감 및 검사 시스템에 적용할 수 있는 신뢰할 만한 개략 위치 파악 계층을 제공한다.