상자를 나르고, 쟁반을 들어 올리고, 의자를 옮기는 일상적인 작업은 두 로봇 팔이 서로 협응하며 물체와 상호작용해야 자연스럽게 수행할 수 있다. 두 매니퓰레이터에 접촉을 분산하면 양팔 파지는 물체를 더 안정적으로 잡고 하중을 균형 있게 분담할 수 있다. 그 결과 한쪽 팔만으로는 불안정해지기 쉬운 부피가 큰 물체도 견고하게 조작할 수 있다. 이처럼 중요한 문제임에도 특히 부분 관측 환경에서 학습 기반 양팔 파지 생성을 다룬 연구는 아직 많지 않다.
서론
이러한 문제를 해결하기 위해 PartialBiGrasp는 단 한 번의 RGB-D 관측만으로 안정적인 양팔 파지를 생성한다. 완전한 물체 기하 정보나 명시적인 형상 복원에 의존하는 대신, 숨겨진 국소 기하 정보를 추론해 크고 파지 가능한 영역이 드문 물체에 대해서도 힘이 균형을 이루며 충돌이 없는 양팔 파지 쌍을 예측한다.
저자들이 아는 한, PartialBiGrasp는 단일 시점의 부분 점군을 대상으로 양팔 파지를 생성하는 최초의 프레임워크다. 이 방법은 과제를 단일 파지 생성, 힘 폐쇄(force closure) 기반 파지 쌍 구성, 국소 기하 조건부 정제로 나누어 부분 관측에서도 안정적인 양팔 파지를 효율적으로 생성한다.
이 방법은 convolutional occupancy network와 파지 정렬 국소 특징을 활용하는 occupancy 조건부 기하 추론 파이프라인을 도입한다. 이를 통해 파지 가능성, 물체의 국소 기하, 충돌이 없는 접촉 영역, 그리퍼의 실행 가능성을 암묵적으로 추론하며, 샘플링 기반 정제 절차로 파지 품질을 높인다.
제안 방법은 해석적 힘 폐쇄 검증, 대규모 시뮬레이션 실험, 실제 로봇 적용을 통해 평가되었다. 그 결과 다양한 대형 물체 시나리오에서 견고한 양팔 파지 생성과 성공적인 조작 성능을 확인했다.
양팔 파지 합성
앞서 설명한 암시적 기하 표현을 사용해 양팔 파지를 두 단계로 생성한다. 먼저 관측된 물체 기하로부터 한쪽 팔이 수행할 수 있는 파지 후보를 예측한다. 그런 다음 학습된 힘 폐쇄 평가기가 파지 후보 쌍을 평가한다.
실험 설정
모든 모델은 DG16M 데이터셋으로 학습한다. 학습은 세 단계로 진행된다.
먼저 Global Geometry Encoder와 단일 파지 합성 헤드를 함께 학습한다. 이때 DG16M의 유효한 파지 접촉으로부터 얻은 occupancy 지도, 파지 자세, 파지 가능 영역에 대한 감독 신호를 사용한다.
다음으로 Dual-Grasp Critic을 학습해 후보 파지 쌍이 힘 폐쇄 제약을 만족하는지 분류한다.
마지막으로 Local Geometry Encoder를 국소 occupancy 감독 신호로 학습해 부분 관측에서 occupancy를 활용한 파지 정제가 가능하도록 한다.
프레임워크는 DG16M의 학습에 사용되지 않은 분할과 RealSense D455로 촬영하고 디지털 트윈을 제작한 실제 물체 모음에서 테스트한다. 모든 실험은 단일 NVIDIA RTX 3090 GPU에서 수행한다.
한계
이 프레임워크는 파지를 생성할 때 특정 로봇 플랫폼에서의 파지 도달 가능성이나 동작 실행 가능성을 명시적으로 모델링하지 않는다. 따라서 운동학적 제약이나 팔끼리의 충돌 때문에 일부 예측 파지 쌍은 양팔 시스템에서 실행할 수 없을 수 있다. 실제 적용에서는 모션 플래너가 파지를 검증하고 실행해야 한다.
데이터셋
이 방법은 DG16M 데이터셋으로 학습하고 평가한다. DG16M에는 ShapeNet에서 가져온 대형 물체 메시 4,142개가 포함되어 있으며, 각 물체에는 해석적 힘 폐쇄 평가로 생성한 양팔 파지 쌍 약 2,000개가 긍정 및 부정 사례로 주석되어 있다.
300개 물체는 테스트용으로 따로 두고 나머지는 학습에 사용한다. 각 물체에 대해 무작위로 선택한 시점에서 RGB-D 이미지를 렌더링하고, 물체 마스크로 가린 가시 깊이 측정값을 부분 점군으로 변환해 단일 시점 부분 관측을 생성한다. 모든 정량적 결과는 이 미사용 테스트 분할에서 보고한다.
단일 파지 생성 모듈을 학습하기 위해 DG16M에 제공된 파지 쌍에서 서로 다른 유효 단일 팔 파지를 추출한다. 이렇게 얻은 파지 자세와 접촉 위치를 파지 자세 회귀의 감독 신호로 사용한다.
파지 가능성 레이블은 이러한 접촉 위치에서 도출한다. 긍정 샘플은 유효한 단일 파지 접촉에 해당하며, 부정 샘플은 주석이 달린 파지 가능성 지도에서 파지 가능성 점수가 0으로 지정된 영역에서 추출한다. 이 지도는 DG16M의 유효한 단일 파지 접촉 위치에서 물체 표면 전체로 파지 가능성 점수를 거리 기반 가중 함수에 따라 전파해 구성한다.
베이스라인 세부 사항
먼저 ContactGraspNet을 사용해 관측된 부분 점군에서 단일 팔 파지 후보를 생성한다. 예측된 파지 품질에 따라 점수가 높은 후보만 필터링한다. 그런 다음 farthest-point sampling으로 공간적으로 다양한 파지 후보 집합과 각 후보에 대응하는 점 특징을 얻는다.
두 가지 파지 쌍 구성 전략을 평가한다.
분류기 기반 파지 쌍 구성
DG16M의 힘 폐쇄 주석을 사용해 이진 파지 쌍 분류기를 학습한다. 각 가시 관측에 대해 정답 파지 쌍을 가장 가까운 가시 ContactGraspNet 파지 후보와 매칭한다. 대응하는 점 특징을 연결해 해당 파지 쌍이 힘 폐쇄 제약을 만족하는지 예측한다.
추론 단계에서는 분류기가 모든 후보 파지 쌍에 점수를 매기고, 점수가 가장 높은 후보 쌍을 유지한다.
결과
평가에는 Force Closure (FC%), Grasp Success Rate (GS%), Pair Collision Rate (PC%)를 사용한다.
- FC%는 예측된 파지 쌍 중 해석적 힘 폐쇄 제약을 만족하는 쌍의 평균 비율을 나타낸다.
- GS%는 시뮬레이션에서 물체를 성공적으로 들어 올리고 유지한 예측 파지 쌍의 평균 비율을 나타낸다.
- PC%는 물체 기하와 충돌한 예측 파지 쌍의 평균 비율을 나타낸다.
FC%와 GS%는 높을수록 파지 쌍의 품질이 좋고, PC%는 낮을수록 기하학적 실행 가능성이 높다.
Coverage는 힘 폐쇄를 만족하는 파지 쌍 집합이 물체의 파지 가능 영역을 얼마나 폭넓게 아우르는지를 나타낸다.
Coverage는 모든 힘 폐쇄 유효 파지 쌍에 대해 두 그리퍼 사이의 부피 안에 포함되는 긍정 파지 가능 점의 수를 전체 긍정 파지 가능 점의 수로 나눈 값이다.
실제 환경 시연
모든 실제 환경 실험은 평행 조 그리퍼가 장착된 xArm7과 xArm6 Lite로 구성된 이기종 양팔 플랫폼에서 수행한다. RealSense D455 RGB-D 카메라는 작업 공간 위에 설치하며, 파지 파이프라인에 필요한 단일 시점 RGB-D 관측을 제공한다.
카메라 보정은 작업 공간 안에 설치한 ArUco 마커 보드를 사용해 수행한다. 생성된 양팔 파지 중 충돌이 없고 운동학적으로 도달 가능한 파지 쌍만 남긴 뒤 로봇 플랫폼에서 실행한다.
그런 다음 부분 관측과 이전에 보지 못한 물체 기하에서 sim-to-real 전이 성능을 평가하기 위해 생성된 파지를 실제 로봇으로 실행한다.
자주 묻는 질문
PartialBiGrasp는 어떤 문제를 해결하나요? 단일 시점의 부분 RGB-D 관측으로부터 대형 물체를 안정적으로 잡을 수 있는 양팔 파지를 생성합니다.
숨겨진 물체 기하를 어떻게 처리하나요? occupancy 조건부 기하 추론과 국소 기하 특징을 사용해 파지 가능성, 접촉 영역, 충돌 없는 파지 정제 결과를 암묵적으로 추론합니다.
학습과 평가에는 어떤 데이터셋을 사용하나요? 4,142개의 대형 물체 메시와 각 물체당 약 2,000개의 긍정 및 부정 양팔 파지 쌍이 포함된 DG16M을 사용합니다.
이 프레임워크의 한계는 무엇인가요? 로봇 플랫폼별 도달 가능성이나 동작 실행 가능성을 명시적으로 모델링하지 않으므로, 예측된 일부 파지 쌍을 검증하고 실행하려면 모션 플래너가 필요합니다.