단 한 대의 RGB 카메라로 사람의 팔 동작을 모방하는 기술이 MediaPipe 랜드마크 추출과 해석기하를 결합해 구현됐다. 이 방법은 반인간형 로봇 NICO에 맞게 조정되었으며, 학습 데이터가 필요 없고 계산 효율이 높다. 또한 시각적 관측값을 로봇 모터 명령으로 변환하는 과정을 해석할 수 있다는 장점이 있다.
서론
기존 연구를 종합하면, 동작 모방은 해석적 방법과 학습 기반 방법을 모두 활용해 구현할 수 있다. 학습 기반 방법은 유연성과 일반화 성능을 제공하지만 복잡성이 커지는 대가가 따른다. 반면 해석적 방법은 효율성과 투명성이 뛰어나지만 특정 운동학적 구조에 맞춘 조정이 필요한 경우가 많다. 또한 기존 연구는 단순화된 동작에 초점을 맞추거나 특수한 센서 장비에 의존했다.
이러한 배경에서 본 연구는 RGB 입력만을 사용해 더 폭넓은 팔 동작에 해석기하 기반 방법을 적용한다. MediaPipe로 랜드마크를 추출하고, 기하학적 수식을 NICO의 운동학적 구조에 맞게 조정함으로써 고가의 센서나 계산량이 큰 학습 모델 없이도 의미 있는 동작 모방을 구현했다.
관련 연구
컴퓨터 비전 기술이 발전하면서 RGB 이미지에서 사람의 골격을 추출하는 시스템이 등장했다. 대표적인 시스템 중 하나인 OpenPose는 여러 사용자의 2D 자세를 추정하도록 설계되었으며, 두 개의 CNN을 사용해 신체 부위와 부위 간 연결 관계를 예측한다.
MediaPipe와 같은 최근 솔루션은 일반 RGB 카메라를 사용해 의사 3D 랜드마크를 실시간으로 추출할 수 있다. 지연 시간이 짧기 때문에 MediaPipe는 인간-로봇 상호작용과 제스처 기반 시스템에서 널리 활용되고 있다.
자세 추정 시스템이 등장하면서 비전 기반 인간 동작 모방도 한층 실현 가능해졌다. 이제 로봇은 웨어러블 센서나 모션 캡처 시스템에 의존하지 않고 RGB 이미지에서 사람의 신체 구성을 직접 추정해 관찰된 동작을 재현할 수 있다. 이러한 발전은 해석기하 기반 방법과 학습 기반 모방 방법 모두에 동기를 부여했다.
로봇 모방에 신경망을 활용한 초기 연구로는 Durdu 등의 연구가 있다. 이들은 관절에 부착된 센서로 수집한 사람의 팔 동작을 인공신경망으로 분류한 뒤, 이를 로봇 팔 플랫폼에서 재현했다.
Lúčny 등은 자기지도 학습 기반 접근법을 연구했다. 이 방법에서 로봇은 시각적 관측값과 자신의 모터 상태 사이의 연관성을 학습해 동작을 모방한다. 이러한 방식은 수작업으로 주석을 단 데이터셋의 필요성을 줄이고, 유망한 일반화 성능을 보여 준다. 학습 기반 방법은 높은 유연성과 일반화 능력을 제공하지만, 대규모 데이터셋과 학습 과정, 상당한 계산 자원을 요구하는 경우가 많다.
여러 연구에서는 학습 기반 방법을 사용하지 않고 랜드마크 좌표를 관절각으로 변환하기 위해 해석기하를 활용한다. Altayeb은 MediaPipe로 손 랜드마크를 추출하고, 직접적인 기하학적 관계를 이용해 관절각을 계산한 뒤 로봇 손을 제어했다. 이 연구는 학습 기반 접근법 없이도 해석적 방법으로 높은 정확도를 달성할 수 있음을 보여 준다. 약 96%에 이르는 보고 정확도는 해석적 접근법의 가능성을 시사하지만, 더 복잡한 동작에 적용할 수 있는지는 여전히 해결해야 할 과제로 남아 있다.
또 다른 관련 연구는 깊이 카메라 입력을 기반으로 한 시스템을 제시했다. 이 연구에서는 기하학적 관계를 이용해 관절각을 도출하고 이를 NAO 로봇 플랫폼에 매핑했다. 저자들은 팔 동작 모방에서 약 95%의 정확도를 보고했으며, 정확한 3D 데이터를 사용할 수 있다면 해석적 방법이 효과적일 수 있음을 보여 주었다. 그러나 깊이 센싱 장비에 의존하면 시스템의 비용과 복잡성이 증가한다.
이와 달리 본 연구는 RGB 카메라 입력만으로 유사한 해석적 프레임워크를 휴머노이드 로봇 NICO에 적용한다. NICO의 운동학적 구조는 NAO와 다르므로 그에 맞춰 각도 수식도 조정해야 한다. 특히 제안 시스템은 전완 회전과 손목 굴곡을 추정한다. NICO에는 NAO 플랫폼에 있는 팔꿈치 롤 관절이 없기 때문이다. 또한 본 연구는 손목 굴곡과 전완 회전 추정에 추가 정보를 제공하는 MediaPipe 손 랜드마크를 활용한다. 머리 동작 모방은 현재 구현의 범위를 벗어나므로 실험적으로 다루지 않았다.
종합하면, 기존 해석적 접근법은 학습 기반 모델 없이도 유망한 자세 모방이 가능하다는 사실을 보여 준다. 그러나 기존 연구는 단순화된 제스처 집합에 초점을 맞추거나 특수 장비에 의존했다. 따라서 제안 방법은 학습 단계를 필요로 하지 않고, 단안 RGB 입력만 사용하며, 팔과 손을 전체적으로 재구성할 수 있고, NICO의 운동학적 구조에 맞게 설계되었다.
재료 및 방법
여기서는 동작 모방에 사용한 하드웨어와 소프트웨어, 그리고 처리 과정을 설명한다.
3D 좌표 추출
제안 시스템의 핵심적인 한계는 깊이 센서와 같은 추가 센서 없이 단 한 대의 RGB 카메라를 사용한다는 점이다. 이러한 제약 아래에서 3D 인간 자세를 추정하기 위해 MediaPipe 프레임워크를 사용했다. MediaPipe는 RGB 이미지에서 자세 랜드마크와 손 랜드마크를 직접 추출하는 모델을 제공한다.
본 연구에서는 팔 동작에 초점을 맞춰 랜드마크 11~24를 사용한다. 이 접근법은 전신 모방으로 확장할 수 있으며, 이는 향후 연구에서 흥미로운 방향이 될 수 있다.
MediaPipe 출력의 정확도는 기존 연구에서 평가된 바 있다. 해당 연구에서는 네 명의 피험자가 여러 신체 운동을 다양한 시점에서 수행했으며, 모션 캡처 시스템(MTw Awinda)으로 기준값을 확보했다. 결과에 따르면 추정 정확도는 시야각에 크게 좌우되며, 가려짐이 발생하면 오차가 증가한다. 또한 절대적인 신체 치수보다 관절각 추정이 더 안정적인 것으로 나타났다. 이러한 결과는 본 연구의 관찰과도 일치한다. 즉, 가려짐과 최적이 아닌 시점에서는 정밀도가 낮아진다.
NICO에 대한 각도 매핑
기하학적 모델로 재구성한 관절각을 그대로 모터 명령으로 사용할 수는 없다. NICO의 각 관절마다 허용 범위와 모터 좌표계가 다르기 때문이다. 따라서 해석적으로 재구성한 각도를 각각 대응하는 모터 범위에 선형 매핑했다.
구간 양 끝점에서의 모터 위치가 명시적으로 주어지므로, 동일한 방정식으로 모터 방향이 일치하는 경우와 반대인 경우를 모두 처리할 수 있다. 마지막으로 계산된 모터 위치를 가장 가까운 정수로 반올림한 뒤 컨트롤러에 전송했다.
결론
본 논문은 반인간형 로봇 NICO가 단안 RGB 입력으로 사람의 팔 동작을 모방할 수 있도록 하는 해석적 처리 파이프라인을 제시했다. 제안 방법은 MediaPipe의 자세 및 손 랜드마크 추출, 기하학적 관절각 재구성, 그리고 NICO의 운동학적 구조에 맞춘 각도 매핑 절차를 결합한다. 학습 기반 모방 방법과 달리 학습 데이터가 필요 없고 계산 효율이 높으며, 시각적 관측값을 로봇 모터 명령으로 변환하는 과정을 해석할 수 있다.
미리 정의된 팔 자세로 구성된 데이터셋을 사용한 실험 평가에서, 이 방법은 어깨 피치와 팔꿈치 굽힘, 손목 굴곡을 중간 수준의 정확도로 재구성했다. 반면 어깨 롤과 특히 전완 회전은 더 어려운 과제로 나타났다. 또한 MediaPipe 손 랜드마크를 통합하면 자세 랜드마크만 사용했을 때보다 전완 회전 추정이 크게 향상되는 것으로 확인됐다. 그럼에도 전완 회전은 여전히 재구성 오차의 주된 원인이었다. 통제된 실험 조건에서는 참가자와 시야각이 달라져도 재구성 정확도가 비교적 일정했지만, 수행한 제스처는 성능에 훨씬 큰 영향을 미쳤다.
본 연구의 방법은 MediaPipe 랜드마크와 기하학적 재구성을 활용한 해석적 단안 RGB 동작 모방의 가능성을 보여 주는 개념 증명이다. 통제된 조건에서 여러 팔 관절에 대해 고무적인 결과를 얻었지만, 일반적인 제스처 모방을 위한 견고한 솔루션으로 평가되기 위해서는 더 크고 다양한 데이터셋을 활용한 추가 개선과 검증이 필요하다. 향후 연구에서는 전완 회전 추정 개선, 시간적 평활화 적용, 동적 제스처로의 확장, 더욱 다양한 피험자와 시점에서의 평가를 진행할 예정이다.
저자들은 기술 지원을 제공한 Branislav Zigo에게 감사를 전한다. 본 연구는 Horizon Europe MSCA 프로젝트 TRAIL(번호 101072488)과 Slovak Research and Development Agency 프로젝트 APVV-21-0105의 지원을 받았다.
자주 묻는 질문
NICO 로봇은 학습 데이터 없이 어떻게 팔 동작을 모방하나요? 로봇은 MediaPipe를 사용해 단일 RGB 이미지에서 사람의 자세와 손 랜드마크를 추출한 다음, 해석기하 수식으로 관절각을 계산하고 이를 NICO의 모터에 직접 매핑한다. 따라서 기계학습을 위한 별도의 학습이 필요하지 않다.
시스템은 어떤 관절을 재구성하며, 가장 어려운 관절은 무엇인가요? 이 방법은 어깨 피치와 롤, 팔꿈치 굽힘, 전완 회전, 손목 굴곡을 재구성한다. 가장 어려운 관절은 전완 회전이며, 재구성 오차도 가장 크게 나타난다.
MediaPipe 손 랜드마크는 모방 정확도를 어떻게 높이나요? 손 랜드마크를 통합하면 자세 랜드마크만 사용할 때보다 전완 회전 추정이 크게 향상된다. 전완 회전각을 계산하는 데 필요한 기하학적 제약을 추가로 제공하기 때문이다.
어떤 카메라 시야각에서도 시스템이 작동하나요? 재구성 정확도는 시야각에 따라 달라진다. 가려짐이 발생하거나 시점이 적절하지 않으면 MediaPipe의 랜드마크 추정 오차가 커지고, 이는 관절각 정확도에도 직접적인 영향을 준다.