인간은 복잡하고 다양한 장면에서 수백 가지의 새로운 물체를 잡을 수 있지만, 기존 로봇 파지 시스템은 탁상용 빈이나 드문드문 있는 물체에 대해 제한된 행동만 수행할 수 있습니다. 로봇 파지의 규모를 확장하려면 물체, 환경 및 작업 전반에 걸친 인간 파지의 전체 다양성을 이해하는 모델이 필요합니다. 우리는 HUG를 제안합니다. HUG는 1인칭 스테레오 비디오에서 수집된 100만 개의 인간 파지 데이터로 훈련된 흐름 일치(flow-matching) 모델로, 단일 RGB-D 이미지에서 모든 장면의 모든 물체에 대해 다양하고 인간과 같은 파지를 생성합니다.
데이터셋 및 수집
HUG를 훈련시키기 위해 우리는 70명의 참가자가 다양한 실내 환경에서 촬영한 400시간 이상의 1인칭 비디오에서 수집된 100만 개의 실제 인간 파지 데이터셋인 1M-HUGs를 구축했습니다. 파지는 비전-언어 모델을 사용하여 자동으로 레이블링되며, 잡힌 물체를 식별하고 분할한 다음 자동 프레임 선택과 웹 주석 인터페이스를 통한 품질 관리를 거칩니다.
방법
HUG는 실제 인간 파지 데이터로 훈련된 흐름 일치 모델로, 스테레오 카메라의 단일 RGB-D 이미지에서 사용자가 지정한 모든 물체에 대해 다양하고 자연스러운 파지를 생성합니다. 모델은 장면의 포인트 클라우드를 처리하고 예측된 파지를 나타내는 MANO 손 자세를 출력합니다.
훈련
훈련 중에 가중치는 예측된 파지가 가장 의미 있는 클린 스텝(clean step) 근처에서 기하학적 손실을 집중시킵니다. 이 접근 방식은 모델이 정확하고 물리적으로 타당한 파지를 생성하도록 학습합니다.
실험
우리는 표준 평가를 위한 HUG-Bench를 도입한 후, 시뮬레이션과 실제 환경에서 HUG를 평가합니다.
실제 환경 평가 설계
탁상 실험에서는 물체를 한 위치에 놓고 시험 간 위치와 회전만 약간 변경합니다. 반복성과 기준 방법과의 공정한 비교를 위해 탁상 실험에서는 복잡한 물체를 피합니다. 다양한 복잡한 환경에서의 현장 실험은 실제 환경에서의 강건성을 입증합니다.
로봇 손으로의 리타겟팅
HUG는 MANO 파지를 예측하며, 배포 시 이를 대상 로봇 손에 매핑합니다. AnyTeleop을 사용하여 Ability 손으로, WUJI 리타겟팅을 사용하여 WUJI 손으로 리타겟팅합니다.
정성적 관찰
가장 쉬운 물체는 둥글고 볼록하며 손에 맞는 크기(예: 배, 파인애플, 해크색)로, 안정적인 포위 파지가 가능합니다. 가장 어려운 물체는 손으로 감싸기에는 너무 큰 물체(예: 축구공, 물티슈 디스펜서)이거나 불규칙하고 관절이 있는 물체(예: 손톱깎이, 헤드폰)로 개방 루프로 잡기 어렵습니다.
HUG는 조명, 물체 회전 및 시점 변화에 강건하며, 컬러 및 그레이스케일 스테레오 카메라 모두에서 작동합니다. 반사 표면에서도 성공적인 파지가 관찰되며, 이 경우 스테레오 깊이가 더 시끄럽습니다.
강력한 그리퍼 정책과의 비교는 손재주의 이점이 물체에 따라 다르다는 것을 보여줍니다. 크거나 불규칙한 물체의 경우, 대척 그리퍼는 안정적인 반대 면 쌍을 찾지 못하고 미끄러지는 경향이 있는 반면, 포위하는 다지 파지는 물체를 감쌉니다. 무거운 물체의 경우 파지 가능한 특징이 질량 중심에서 벗어나 있는 경우, 다지 파지는 접촉점을 분산시키고 중력 토크에 저항합니다. 작고 얇거나 집을 수 있는 물체의 경우 그리퍼가 여전히 경쟁력이 있습니다.
자동 레이블링
처음 세 단계는 인간의 개입 없이 실행됩니다: 잡힌 물체 식별, 기록 전체에서 물체 분할, 파지 프레임 선택. 잡힌 물체는 비전-언어 모델로 위치를 파악하며, '이전' 프레임과 네 개의 '이후' 프레임을 비교하여 물체의 모든 부분을 포함하는 점을 반환합니다. 두 번째 VLM 호출은 각 점이 잡힌 물체 위에 있는지 확인합니다. 비용은 기록당 약 $0.003입니다.
품질 관리
모든 기록은 웹 주석 앱에서 검토되며, 검토자는 마스크를 다시 분할하고 파지 프레임을 다시 선택한 후 기록을 승인하거나 안정적인 파지가 없다고 표시할 수 있습니다.
포인트 클라우드 크롭 반경
인코딩 전에 역투영된 포인트 클라우드는 3D 쿼리 지점 주변의 고정 반경 구로 크롭됩니다.
카메라 일반화
카메라 내부 파라미터는 기하학적 연산(픽셀과 깊이를 메트릭 포인트로 역투영)을 통해서만 HUG에 입력됩니다.
한계
HUG는 최첨단 성능을 달성하지만, 훈련 데이터에서 비롯된 한계를 가지고 있습니다. 모델은 극히 드문 물체, 매우 작거나 큰 물체, 또는 데이터셋에 과소 대표된 미세한 손가락 손재주가 필요한 파지에 어려움을 겪을 수 있습니다. 향후 연구에서는 촉각 피드백을 통합하고 로봇 데이터로 미세 조정하는 것을 탐구할 수 있습니다.
자주 묻는 질문
HUG의 주요 혁신은 무엇인가요? HUG는 1인칭 비디오에서 수집된 100만 개의 실제 인간 파지 데이터로 훈련된 흐름 일치 모델로, 단일 RGB-D 이미지에서 모든 장면의 모든 물체에 대해 다양하고 인간과 같은 파지를 가능하게 합니다.
훈련 데이터는 어떻게 수집되었나요? 1M-HUGs 데이터셋은 70명의 참가자가 다양한 실내 환경에서 촬영한 400시간 이상의 1인칭 스테레오 비디오에서 수집되었으며, 비전-언어 모델을 사용한 자동 레이블링과 웹 주석 인터페이스를 통한 품질 관리를 거쳤습니다.
HUG는 그리퍼 기반 파지와 어떻게 비교되나요? 크고 불규칙하거나 질량 중심이 편향된 무거운 물체의 경우, 다지 파지는 접촉점을 분산시키고 토크에 저항하여 그리퍼를 크게 능가하는 반면, 그리퍼는 작고 얇거나 집을 수 있는 물체에서 경쟁력을 유지합니다.
HUG의 계산 요구 사항은 무엇인가요? 자동 레이블링 파이프라인은 비전-언어 모델을 사용하여 기록당 약 $0.003의 비용이 들며, 훈련된 모델은 실시간 파지 생성을 위해 표준 GPU 하드웨어에서 효율적으로 실행됩니다.