점별 키포인트 투표로 작업 인식형 점진적 로봇 조립 구현 (2026)

부품을 조립해 최종 제품을 완성하는 일은 사람에게는 아주 간단하지만, 로봇이 사람과 비슷한 수준의 조립 능력을 갖추기는 여전히 어렵다. 로봇 조립 연구는 로봇 제조, 서비스 로봇, 의료 로봇 및 관련 응용, 우주 탐사, 고고학적 파손 유물 복원, 수리와 복원 등 다양한 응용 분야와 서로 다른 제약 조건을 아우른다. 오랜 기간 활발한 연구가 이어졌음에도 로봇의 고도화된 조립 능력에 대한 수요는 계속해서 증가하고 있다. 현재의 연구는 시각적 인식과 강화학습을 통해 이러한 문제를 해결하고 있지만, 이러한 시스템이 조립 작업을 이해하는 지능형 로봇의 행동을 실제로 보이는지는 여전히 논쟁의 여지가 있다. 로봇 조작에 조립 작업 인식을 도입하고 이를 가능하게 하는 엔드투엔드 학습 방법을 제시한다.

서론

객체 검출, 분류, 의미론적 분할과 같은 컴퓨터 비전 도구는 로봇에 인식 능력을 부여하는 데 핵심적이다. 이러한 도구는 장면에 대한 기본적인 이해를 제공하지만, 로봇 조작에는 로봇 주변 환경에 대한 3차원 공간 이해가 필요하다. 이에 따라 6-DoF 객체 자세 추정은 로봇 인식의 핵심 요소로 부상했으며, 로봇의 파지와 객체 배치에서 중요한 역할을 하게 되었다.

그러나 여러 객체를 조립하는 작업에는 맥락 인식에 관한 추가적인 요구 사항이 따른다. 조립 객체가 조립되기 전과 후의 자세를 찾아내려면 공간 인식이 필수적이다. 객체를 최적의 순서로 조립하려면 시간적 인식이 필요하다. 부품 간 관계 인식은 최종 조립체의 구조적 일관성을 결정한다. 또한 물리적 실현 가능성을 확보하려면 중력에 대한 안정성 인식도 중요하다.

이러한 관찰을 바탕으로 점진적 조립 작업에 필요한 작업 인식의 주요 구성 요소를 정리할 수 있다. 작업 인식이란 조립 상태를 지각하고 그 공간적·시간적·관계적 의존성을 추론하는 능력으로 볼 수 있다. 조립 작업을 인식하고 실행 가능한 출력을 생성하도록 학습할 수 있는 모듈은 로봇 조작에 큰 도움이 된다. 이는 현대 로봇공학에서 특히 중요하다. 단순한 집기-놓기 작업을 넘어 작업 맥락을 이해하는 조작 능력을 구현할 수 있기 때문이다.

이를 위해 로봇 조립을 위한 점별 키포인트 투표 프레임워크인 PVRA를 제안한다. 주요 기여는 다음과 같다.

로봇이 조립 작업을 인식할 수 있도록 하는 3D 키포인트 기반 모듈형 학습 프레임워크
조립 인식 역할 분할과 자세 추정을 평가하기 위한 확장된 지표 집합
자체 제작한 객체 조립 데이터셋을 대상으로 제안 프레임워크를 구현하고 평가
객체 중심 기준선과 제안 모델의 비교 평가

조립 자세 추정

부품 또는 구성 요소 집합이 주어졌을 때, 조립 자세 추정(Assembly Pose Estimation, APE)은 조립 제약 조건을 만족하면서 조립 제품 안에서 목표 객체가 취해야 할 6-DoF 자세를 추론하는 작업이다. 부품의 의미 정보에 대한 사전 지식이 없다면 APE는 일반화된 부품 조립으로 정의할 수 있다.

일반화된 부품 조립은 목표 조립체가 주어졌을 때 새롭거나 학습 과정에서 보지 못한 객체도 조립할 수 있다. GPAT는 목표 분할을 통해 이 문제를 해결한다. 즉, 네트워크가 목표 설계도를 명시적으로 분할하고 조립 자세를 추론한다. 그러나 GPAT는 전역적이며 한 번에 수행되는 APE를 가정하므로, 점진적 조립 작업의 중간 단계를 고려하지 않는다. 이로 인해 점진적 추론과 물리적 제약 조건의 반영이 부족해 점진적 조립 작업의 실행 가능성과 정확도가 떨어질 수 있다.

제안 방법

PVRA는 논문에서 제시한 특정 가정 아래 점진적 조립을 수행하는 지도학습 기반 RGB-D 포인트 클라우드 모델이다.

이 방법은 조립 장면의 RGB-D 입력을 인식하고 특징을 추출한 뒤, 조립 작업을 인식한 실행 가능 출력으로 변환하는 매핑을 학습한다. 출력은 다음과 같다.

점 단위 의미 역할: 목표물, 기반물, 배경
목표 객체의 6-DoF 자세
6-DoF 조립 자세

PVRA 모델은 조립 작업 전체를 직접 수행하는 완전한 제어기가 아니다. 대신 작업 맥락을 반영한 실행 가능 출력을 예측하여, 자율 에이전트가 점진적 조립의 현재 단계에서 조립 동작을 수행할 수 있도록 후속 작업을 지원한다.

이 모델은 PVN3D와 RGB-D 특징 융합 전략을 공유하지만, 점진적 조립 작업에 맞춰 예측 헤드와 지도 신호를 설계했다.

실험 설정

PVRA는 Nema17 기어 감속기 점진적 조립 데이터셋으로 학습하고 검증했다. 이 데이터셋에는 정답 객체 자세, 조립 자세, 각 조립 단계의 RGB-D 프레임, 관련 객체의 CAD 파일이 포함된 시뮬레이션 조립 장면이 담겨 있다.

데이터셋은 5개의 조립 객체와 4개의 조립 단계로 구성된 431개의 조립 인스턴스로 이루어진다. 여기서 총 8,620개의 인스턴스를 생성하고, 이를 학습 60%, 검증 20%, 테스트 20%로 나누었다.

네트워크는 NVIDIA Tesla V100 GPU 4개와 총 128GB VRAM으로 구성된 고성능 컴퓨팅 클러스터에서 학습했다. 소스 코드는 GitHub 저장소에서 공개되어 있다.

평가 지표

단계 분할 정확도

단계 분할 정확도(Step-Segmentation Accuracy, SSA)는 목표물과 기반물 역할의 평균 교집합-대-합집합(IoU)을 사용해 조립 단계별 분할 정확도를 측정한다. 이는 PVRA가 시간적·관계적 인식을 바탕으로 현재 조립 대상과 기반 객체를 식별하는 능력을 나타낸다.

단계 위치 추정 정확도

단계 위치 추정 정확도(Step-Localization Accuracy, SLA)는 정규화된 최대 대칭 인식 표면 거리(Maximum Symmetry-Aware Surface Distance, MSSD)를 사용해 자세 정확도를 측정한다. 동등한 회전에 불이익을 주지 않도록 모든 Nema17 객체에 연속적인 국소 대칭을 적용했다.

이 공식은 대칭 인식 표면 거리 오차를 정규화하기 위해 목표 객체의 직경을 사용한다.

논의

평가는 점진적 조립을 시뮬레이션한 데이터셋을 사용해 수행했다. 실제 환경에 적용할 경우 센서 잡음, 보정 오차, 반사, 조명 조건 등 추가적인 문제가 발생할 수 있다.

도메인 전이 가능성은 앞으로 연구해야 할 과제로 남아 있지만, 시뮬레이션 기반 기준선 비교는 인식 기반 점진적 조립을 위한 재현 가능한 중요한 벤치마크를 제공한다. 문헌 조사에서 확인되듯 점진적 조립을 표현하는 실제 구조화 데이터셋은 매우 제한적이다. 실제 환경에서 동기화된 RGB-D 프레임과 주석이 달린 6-DoF 자세를 수집하는 일이 복잡하기 때문이다.

따라서 이러한 통제된 설정은 방법론적 질문을 분리해 검증하는 데 필수적이다. 즉, 조립 맥락을 인식하는 모델이 기존 객체 중심 자세 추정 방법과 비슷한 성능을 낼 수 있는지를 확인할 수 있다.

결론

본 연구는 점진적 로봇 조립을 위한 작업 인식형 키포인트 기반 프레임워크를 제시하고, 기존 객체 중심 인식 방법과 비교해 정량적으로 평가했다. 평가 결과, 제안 모델이 조립 작업에 특화된 의존 관계를 학습하고 로봇 조작에 활용할 수 있는 정확한 실행 가능 출력을 생성할 수 있음이 확인되었다.

또한 본 연구는 조립에 특화된 인식을 더 폭넓은 작업 특화 인식 학습으로 확장할 가능성을 제시한다. 이는 점진적 조립을 넘어 다양한 로봇 조작 응용에도 기여할 수 있다.

본 연구는 Helsinki Institute of Physics의 Technology Programme을 통한 ROBOT 프로젝트와 Research Council of Finland의 PERFORM 프로젝트(Grant 369003)의 지원을 받았다. 저자들은 핀란드 CSC—IT Center for Science가 제공한 컴퓨팅 자원에 감사를 표한다.