로봇 그리핑은 자율적인 물체 조작에 필요한 기본 능력 중 하나입니다. 휴머노이드 로봇에서 이 작업은 시각 인식, 물체 위치 파악, 역기구학(IK), 손 제어의 통합을 요구합니다. 로봇이 시뮬레이션에서 정확하게 목표 지점에 도달할 수 있더라도, 기계적 부정확성, 액추에이터 결함, 센서 노이즈 또는 로봇 모델의 단순화된 가정으로 인한 시뮬-실제 차이로 인해 실제 플랫폼에서는 동일한 움직임이 실패할 수 있습니다.
우리는 이전 연구에서 터치스크린의 촉각 피드백을 기반으로 한 저비용 교정 방법을 도입하여 이 문제를 다루었습니다. 로봇이 화면의 목표 지점 세트를 터치하고, 기록된 접촉 위치를 사용하여 실제 목표 위치를 적절한 시뮬레이션 좌표로 매핑하는 교정 모델을 훈련했습니다. 이 접근 방식은 NICO(Neuro-Inspired COmpanion) 휴머노이드 로봇의 도달 정확도를 향상시켰습니다. 그러나 물체 감지, 위치 파악, 손 배치, 그리고 그리핑의 신뢰할 수 있는 실행이 추가로 필요하기 때문에, 지점에 도달하는 것은 성공적인 조작을 위한 첫 단계에 불과합니다.
관련 연구
여러 연구들이 로봇 그리핑에서 시뮬-실제 전이를 직접 다룹니다. James 등은 데이터 효율적인 시뮬-실제 그리핑을 위해 무작위화-정규화 적응을 사용했고, Gäde 등은 NICO 휴머노이드 로봇의 시각운동 그리핑에 도메인 무작위화와 도메인 적응을 적용했습니다. 이러한 접근 방식과 비교하여, 우리의 작업은 종단간 그리핑 정책을 훈련하지 않고 명시적인 위치 파악, IK, 및 교정 기반 보정을 사용합니다.
재료 및 방법
이 작업은 이전 교정 접근 방식을 기반으로 직접 구축되었습니다. 우리는 동일한 로봇 플랫폼, 시뮬레이션 제어 소프트웨어, 그리고 교정된 교정 모델을 사용하며, 이는 테이블탑 그리핑 작업의 요구 사항에 맞게 조정 및 추가 개발되었습니다.
로봇 설정 및 소프트웨어
실험은 휴머노이드 로봇 NICO를 사용하여 오른팔과 네 손가락 어린이 크기 손으로 수행되었습니다. 종이 그리드는 로봇의 도달 가능 영역 전체에 걸쳐 물체를 배치하고 그리핑 성능을 평가하기 위한 의사-실측 자료를 제공했습니다. 시각 인식을 위해 로봇의 내장 스테레오 카메라 설정을 사용했으며, 이는 640x480 픽셀의 저해상도 어안 이미지를 제공합니다.
교정 모델
실제 작업 공간의 목표 위치와 시뮬레이터 및 IK 모듈이 사용하는 해당 위치 간의 차이를 줄이기 위해 세 가지 교정 모델을 사용했습니다. 그리핑 작업에서 이 모델들은 테이블 위의 추정된 물체 위치를 로봇 손의 보정된 목표 위치로 변환합니다.
기준 모델 M1은 수동으로 정렬된 시뮬레이션과 측정된 높이 값의 보간에 기반한 조각별 선형 매핑을 사용합니다. M2는 부분 비선형 신경망 교정 모델로, 수평 목표 좌표는 다층 퍼셉트론(MLP)으로 예측하고 높이 구성 요소는 여전히 보간으로 얻습니다. M3는 완전 비선형 신경망 모델로, 보정된 3차원 목표 위치를 직접 예측합니다. 교정 절차, 모델 훈련 및 도달 평가에 대한 자세한 설명은 이전 작업에 나와 있습니다.
이 논문에서 모델은 재훈련되지 않으며, 그리핑 파이프라인 내에서 보정 모듈로 사용됩니다. 이를 통해 2D 도달에 최적화된 교정 모델이 작은 잔여 위치 오차가 작업 성공에 더 큰 영향을 미칠 수 있는 물체 그리핑에서도 개선을 가져올 수 있는지 평가할 수 있습니다.
시각 피드백을 사용한 손 정렬
교정 모델 외에도, 그리핑 전에 감지된 물체와 로봇 손을 정렬하기 위한 시각 피드백 방법을 구현했습니다. 먼저 로봇은 비전 모듈을 사용하여 물체 위치를 추정하고 손을 물체 위의 대략적인 위치로 이동합니다. 그런 다음 비전 모듈을 다시 사용하여 로봇 손을 감지하고 스테레오 비전을 사용하여 위치를 재구성합니다.
거리가 감소함에 따라 단계 크기는 점차 줄어듭니다. 이는 손이 이미 물체에 가까울 때 큰 진동을 방지합니다. 감지된 손 위치와 물체 위치 사이의 수평 거리가 미리 정의된 임계값(1cm로 설정) 아래가 될 때까지 정렬이 반복됩니다. 그런 다음 손이 물체 쪽으로 내려지고 손가락을 닫아 그리핑이 실행됩니다.
손 감지를 더욱 신뢰할 수 있게 만들기 위해, 정렬 단계에서 손 자세도 조정했습니다. 손바닥을 카메라 쪽으로 회전시켜 감지기가 손 위치 추정 전에 손바닥 중앙 부분을 더 일관되게 관찰할 수 있도록 했습니다. 이는 손의 일반적인 mAP가 낮음에도 불구하고 YOLO 감지 실패를 효과적으로 방지했습니다.
이 방법은 비교에서 M4로 사용되었습니다. M2 및 M3 교정 모델과 달리, 교정 기반 목표 보정을 사용하지 않고 그리핑 전에 손을 물체와 정렬하기 위해 시각 피드백에만 의존했습니다.
그리핑 파이프라인 및 실험 평가
성공적인 그리핑 실행을 위해 수직 목표 보정과 손바닥 요 보정이라는 두 가지 작업별 보정도 적용했습니다. 적절한 z 값과 요 각도는 로봇 작업 공간 전체에 분포된 불규칙한 기준점 집합에서 수동으로 측정되었습니다. 임의의 목표 위치에 대해 두 값 모두 방사 기저 함수(RBF) 보간을 사용하여 추정되었습니다. 손바닥의 롤과 피치 각도는 고정되어 하향 그리핑 자세를 유지했습니다.
완전한 그리핑 파이프라인은 로봇 카메라로 캡처한 이미지로 시작합니다. YOLO 감지기가 이미지 좌표에서 물체 위치를 제공하고, 스테레오 비전 모듈이 깊이를 추정하는 데 사용됩니다. 감지된 점은 로봇 머리의 운동학적 체인을 사용하여 로봇 좌표계로 변환됩니다. 이 실제 목표 위치는 교정 모델 중 하나를 사용하여 시뮬레이션 목표 위치로 변환됩니다. 마지막으로 요 보정이 손바닥 방향을 제공하고, IK 솔버가 필요한 관절 각도를 계산하며, NicoMotion 라이브러리를 통해 실제 로봇에서 움직임이 실행됩니다.
우리는 모델 M1에서 M4를 사용하여 네 가지 그리핑 접근 방식을 평가했습니다. 봉제 토마토가 로봇 팔의 도달 가능 작업 공간 전체에 분포된 22개의 그리드 위치에 배치되었습니다. 각 위치와 각 모델에 대해 세 번의 그리핑 시도가 수행되어 모델당 66번의 시도가 이루어졌습니다. 전체 그리핑 성공률 외에도, 10개의 목표 위치를 포함하는 원래 신경망 교정 영역 내부의 성공률도 평가했습니다. 이를 통해 교정된 영역 내의 성능과 전체 테이블탑 작업 공간에서 모델의 일반화를 비교할 수 있었습니다.
교정 기반 그리핑 결과
이 가설을 검증하기 위해 M3의 신경망이 생성한 예측을 시각화했으며, 신경망(NN) 교정 영역 외부의 점을 포함했습니다. 입력 목표 위치와 예측된 시뮬레이션 위치 사이의 평균 변위는 교정 영역 내에서 2.14cm에 불과했지만, 외부에서는 5.45cm로 증가했습니다. 따라서 예측은 M3가 테이블탑 작업 공간의 대부분에서 제대로 외삽하지 못했으며, 일반적으로 필요한 보정을 초과했음을 확인했습니다. 유일한 예외는 원래 터치스크린 영역의 왼쪽 영역으로, 예측이 교정된 영역 내부와 동일한 추세를 따랐으며, 이는 작업 공간의 이 부분에서 여러 그리핑 시도가 성공한 이유를 설명합니다.
시각 피드백 및 전체 비교
시각 피드백 손 정렬 모델이 교정 기반 교정 모델의 대안으로 평가되었습니다. M2 및 M3와 달리, 교정된 목표 보정을 사용하지 않고 그리핑 전에 감지된 손 위치와 감지된 물체 위치를 정렬하기 위해 시각 피드백에만 의존했습니다. 이 접근 방식은 전체 테이블탑 작업 공간에서 그리핑 성능을 향상시켰습니다. 성공적인 그리핑은 더 이상 신경망 교정 영역 내부에만 집중되지 않고 원래 터치스크린 영역 외부의 영역에서도 나타났습니다. 전반적으로 이 모델은 72.7%의 성공률을 달성했으며, 이는 66번의 시도 중 48번의 성공적인 그리핑에 해당합니다.
M2 모델은 M3보다 낮은 성능을 보였으며, 이는 이전 연구에서 보고된 도달 결과와 일치합니다. 신경망 교정 영역 내부에서 최고 결과는 M3가 96.7%의 성공률로 얻었습니다. 전체 테스트 작업 공간에서 최고 결과는 시각 피드백 모델이 72.7%의 성공률로 얻었습니다.
논의
다른 로봇 그리핑 연구와의 직접적인 비교는 플랫폼, 물체, 센서 및 평가 프로토콜이 크게 다르기 때문에 어렵습니다. 가장 비교 가능한 작업은 NICO 로봇의 시뮬-실제 그리핑도 평가되었지만, 왼손을 사용한 원통형 물체의 측면 그리핑에 관한 것입니다. 그들의 최고 모델은 도메인 적응과 내재적 IK를 사용하여 80.3%의 성공률을 달성했습니다. 우리의 시각 피드백 모델은 전체적으로 72.7%를 달성했으며, 완전 비선형 교정 모델 M3는 교정된 NN 교정 영역 내에서 96.7%에 도달했습니다.
시각 피드백 모델의 주요 한계는 스테레오 비전 기반 손 위치 파악이었습니다. 여러 위치에서 손 뒤의 배경이 로봇에서 너무 멀 때 손 위치가 크게 과대평가되었습니다. 이는 전체 성공률을 낮추었지만, 손 위치 파악이 정확할 때 성능은 여전히 높았습니다. 손 분할이나 깊이 추정을 개선하면 모델이 더욱 향상될 가능성이 높습니다.
요약하면, 우리는 RGB-D 카메라, 모션 캡처 또는 외부 추적 없이 물체 감지, 스테레오 비전 위치 파악 및 교정된 IK 제어를 결합한 저비용 그리핑 파이프라인을 구현했습니다. 기계적 부정확성을 보상하기 위해 작업별 보정이 사용되었지만, 기본 방법론은 일반화 가능합니다. 결과는 2D 도달을 위해 개발된 촉각 교정이 물체 그리핑에서도 개선을 가져올 수 있음을 보여주며, 시각 피드백은 교정 기반 보정이 사용되지 않을 때 효과적인 대안을 제공합니다.
익명의 검토자들에게 상세한 피드백에 감사드립니다. I.F.는 슬로바키아 연구 개발 기관(프로젝트 APVV-21-0105)의 지원을 받았습니다.
자주 묻는 질문
시뮬-실제 격차란 무엇이며, 왜 NICO의 그리핑에 영향을 미치나요? 시뮬-실제 격차는 기계적 부정확성, 액추에이터 결함 및 센서 노이즈로 인해 시뮬레이션과 실제 하드웨어 간의 차이를 말합니다. 이러한 차이는 시뮬레이션에서 완벽하게 작동하는 움직임이 실제 로봇에서 실패하게 만듭니다.
교정 모델 M1, M2, M3는 서로 어떻게 다른가요? M1은 단순한 조각별 선형 보간을 사용하고, M2는 수평 보정을 위한 신경망과 높이를 위한 보간을 결합하며, M3는 실제 위치에서 세 가지 목표 좌표를 모두 직접 예측하는 완전 비선형 신경망입니다.
시각 피드백 모델 M4가 교정 모델보다 전반적으로 더 나은 성공을 달성한 이유는 무엇인가요? M4는 그리핑 전에 손을 물체와 반복적으로 시각 정렬하는 방식을 사용했으며, 이는 전체 작업 공간에서 작동했습니다. 교정 모델 M2와 M3는 터치스크린 데이터로 훈련된 제한된 영역 내에서만 잘 작동했습니다.
시각 피드백 접근 방식의 주요 한계는 무엇인가요? 스테레오 비전 기반 손 위치 파악은 손 뒤의 배경이 로봇에서 너무 멀 때 손 위치를 과대평가하는 경우가 있습니다. 이는 정렬 오류를 유발하고 해당 위치에서 그리핑 성공률을 낮춥니다.