DexPort로 정교한 로봇 손 시연 데이터 수집과 배포를 더 쉽게 (2026)

하드웨어 설계

기록 신호

데이터 수집 중 Quest 2 컨트롤러는 손목의 6-DoF 궤적을 제공하며, 이를 바탕으로 말단 효과기의 동작 목표를 구성합니다. 어안 카메라는 손과 물체의 상호작용 및 주변 작업 맥락을 포착하고, 손 조작기는 명령된 20-DoF 관절 목표값과 그에 따른 관절 상태를 모두 기록합니다. 따라서 각 시연에는 측정된 상태에서 추론한 동작이 아니라 손에 실제로 전달된 동작이 포함되어 행동 데이터 요건을 충족합니다. 견고한 연결 구조는 조작기와 손, 카메라와 손 사이의 변환 관계를 고정해 추적된 움직임과 시각 관측값이 동일한 손 좌표계를 기준으로 유지되도록 합니다.

인체공학적 설계

손에 든 전체 조립체의 무게는 제공된 텍스트에 전체 무게가 명시되어 있지 않습니다 kg이며, 손을 제외한 하드웨어의 무게는 제공된 텍스트에 손을 제외한 하드웨어 무게가 명시되어 있지 않습니다 kg입니다. 이 하중을 지지하면서 엄지와 검지로 조작기를 자유롭게 다룰 수 있도록 Quest 2 배터리 덮개를 연장해, 컨트롤러와 이동형 모듈을 연결하는 수집용 손잡이로 만들었습니다. 작업자의 손등을 가로지르는 스트랩이 하중의 일부를 지탱해 지속적으로 쥐는 힘을 줄입니다.

초기 설계에서는 컨트롤러를 로봇 손 뒤쪽에 배치해 작업자의 손잡이 위치가 조립체의 무게중심에서 벗어나고 긴 모멘트 암이 생겼습니다. 최종 설계에서는 컨트롤러를 손 위쪽에 배치해 손잡이가 무게중심에 가깝도록 했습니다. 이에 따라 모멘트 암이 짧아지고 작업자가 버텨야 하는 손목 토크가 줄어듭니다.

매개변수화된 스킬을 통한 정교한 제어

스킬을 통한 제어는 자유도가 높은 로봇 시스템을 조작하는 효과적인 방법입니다. 예를 들어 휴머노이드는 모든 관절의 움직임을 지정하는 대신 원하는 속도를 명령할 수 있습니다. 같은 원리를 정교한 손에 적용해, 작업자의 의도와 이를 구현하는 데 필요한 손가락 움직임을 분리합니다. 폭넓은 정교한 조작 작업에 적용할 수 있도록 간결한 스킬 집합을 설계했습니다. 스킬 인터페이스는 이산적인 선택 방식이 아니라 매개변수화된 방식으로 구성해 더욱 총체적인 제어가 가능합니다. 예를 들어 사용자는 하나의 고정된 파지 동작으로 전환하는 대신 조이스틱을 움직여 파지를 조금씩 조이거나 풀면서 파지 강도를 제어합니다.

이 스킬들을 사용하면 작업자가 손의 20개 관절을 하나씩 명령하지 않아도 데이터 수집 중 모든 관절을 활용할 수 있어, 정교한 제어 인터페이스와 단순한 그리퍼를 구분하는 자유도 요건을 충족합니다. 인터페이스에는 Meta Quest 2 컨트롤러를 사용하며, 버튼 2개, 연속 입력 트리거 2개, 2축 조이스틱이 있습니다. 이 입력으로 작업자는 스킬을 선택하고 조절할 수 있습니다.

엄지 제어

조이스틱의 두 축은 한 축으로 엄지의 굴곡과 신전을, 다른 축으로 외전과 내전을 제어하며, HATO를 따릅니다. 이를 통해 작업자는 다양한 파지 형태에 맞춰 엄지 위치를 독립적으로 조정할 수 있습니다.

파워 그립

조이스틱의 한 축으로 엄지를 제외한 네 손가락을 함께 오므리는 동작을 제어합니다. 조이스틱을 조금씩 움직여 파지를 느슨하게 하거나 조이고, 손을 떼면 현재 목표값을 유지합니다. 연속 트리거 제어와 달리 이 지속 명령은 파지하는 동안 계속 힘을 줘야 할 필요가 없습니다. 주로 큰 물체를 손으로 감싸 쥐는 데 사용합니다.

핀치 그립

같은 방식의 점진적 명령으로 검지만 제어해, 독립적으로 위치를 조정한 엄지 쪽으로 오므립니다. 이 스킬은 작은 물체를 다루거나 손끝을 정밀하게 접촉해야 하는 파지에 적합합니다.

두 손가락 파지

나머지 손가락은 목표값을 유지하면서 검지와 중지를 함께 펴거나 오므립니다. 이 스킬을 사용하면 작업자가 두 손가락을 각각 조작하지 않아도 여러 물체를 파지하거나 두 손가락으로 잡아당기는 동작 등 여러 단계로 이뤄진 동작을 수행할 수 있습니다.

손안 회전

버튼을 누르면 학습된 폐루프 정책이 작동해 손에 쥔 도구를 회전시키는 데 필요한 반복적인 손가락 재배치 동작을 생성합니다. 정책이 손가락을 제어하는 동안 작업자는 손의 전체적인 움직임을 계속 제어합니다.

손안 회전 스킬 학습

손안 회전 스킬은 시뮬레이션에서 학습합니다. 이로써 특히 손가락 수준의 촉각 피드백이 없는 상황에서 작업자가 어려운 저수준 손안 조작을 직접 수행해야 하는 부담을 줄입니다. Isaac Lab에서 PPO를 사용해 폐루프 나사 조이기 정책을 시뮬레이션으로 학습합니다.

작업은 회전 관절에 연결된 원통형 손잡이를 돌리는 것으로 모델링합니다. 실제 환경에서는 작업자가 손목을 조정할 수 있지만, 시뮬레이션 환경은 단순화해 손의 기반부를 고정하고 정책은 손가락만 제어합니다. 정책은 구동되는 12개 관절에 대한 델타 동작을 학습하며, 약지와 새끼손가락은 고정합니다. 측정된 관절 위치, 명령된 목표값, 이전 동작을 포함한 과거 3단계 정보를 관측합니다. 특권형 비평가는 손잡이의 회전 각도에 접근할 수 있도록 학습합니다.

실험

평가에서는 다음 세 가지 연구 질문을 다룹니다.

Q1: DexPort로 기록한 손 명령을 사용하면 다양한 정교한 조작 작업에서 성공하는 정책을 학습할 수 있는가?
Q2: 비정형 환경에서 수집한 시연으로 공동 학습하면 미지의 물체와 복잡한 장면에 대한 견고성이 향상되는가?
Q3: DexPort의 데이터 수집 처리량은 원격 조작 및 사람 손 시연과 비교해 어떠한가?

실험 설정

로봇 플랫폼

정책은 7-DoF 팔 2개를 갖춘 양팔 로봇 Tianji Marvin에 배포합니다. 데이터 수집에 사용한 손-카메라 모듈은 로봇의 손목에 직접 장착하므로, 손의 구현 방식과 카메라-손 외부 파라미터가 수집과 배포 단계에서 동일합니다. 따라서 손 목표값을 재매핑할 필요가 없으며, 배포 시에는 고정된 조작기-말단 효과기 변환만 보정합니다.

서로 다른 손을 사용해 시스템의 모듈성을 입증합니다. 집기 및 놓기와 나사 조이기 작업에는 Wuji 1 손을, 서랍 수납과 양손 바코드 스캔에는 Wuji 2 손을 사용합니다.

작업

네 가지 작업으로 서로 다른 형태의 정교한 조작 능력을 평가합니다.

채소 집기 및 놓기: 로봇이 채소 2개를 차례로 집어 접시에 놓습니다. 물체의 크기와 모양이 달라지므로, 명시적인 파지 레이블 없이 정책이 핀치 그립과 파워 그립 중에서 선택해야 합니다.
나사 조이기: 로봇이 안정적으로 쥔 상태를 유지하면서 드라이버를 손안에서 돌립니다. 이 작업은 지속적인 접촉 유지와 반복적인 손가락 재배치 능력을 평가합니다.
서랍 수납: 로봇은 물체를 쥔 손으로 서랍을 열고, 잡은 물체를 안에 넣은 뒤 서랍을 닫습니다. 이 작업은 물체를 놓치지 않는 능력과 관절형 물체 조작을 함께 요구합니다.
양손 바코드 스캔: 한 손으로 물체를 잡아 제시하고, 다른 손으로 바코드 스캐너를 위치시켜 조작합니다. 성공하려면 물체와 스캐너의 위치를 양손으로 협응해야 합니다.

관측

정책은 손-카메라 모듈의 어안 카메라 영상을 관측합니다. 서랍 수납 작업에서는 물체를 쥔 손이 서랍을 당겨 여는 동안 장면 대부분을 가리므로 제3자 시점 카메라를 추가합니다. 기록된 프레임에는 작업자가 간혹 보이며, 후처리는 적용하지 않습니다.

데이터셋

네 가지 작업에 걸쳐 실험실 시연 총 1,605건을 수집했습니다. 채소 집기 및 놓기 700건, 드라이버 조작 200건, 서랍 수납 380건, 양손 바코드 스캔 325건입니다. 이와 별도로 비정형 아파트 및 사무실 환경에서 집기 및 놓기 시연 1,000건을 수집했습니다. 공동 학습 정책에는 실험실 데이터셋과 실제 환경에서 수집한 집기 및 놓기 데이터셋을 모두 사용합니다.

학습 변형 및 기준선

Q1에 답하기 위해 DexPort로 기록한 명령 손 목표값을 사용해 학습한 정책을, 측정된 손 상태를 동작 레이블로 사용하는 상태-동작 기준선과 비교합니다. Q2에 답하기 위해 실험실 데이터만 사용한 집기 및 놓기 정책을 두 가지 공동 학습 변형과 비교합니다. Q3에 답하기 위해 DexPort, 원격 조작, 사람 손 시연의 30분당 수집 궤적 수를 비교합니다.

평가 프로토콜

각 정책은 작업 또는 평가 조건별로 15회 에피소드에 걸쳐 평가합니다. 채소 집기 및 놓기에서는 본 물체, 보지 못한 물체, 방해물이 있는 장면을 대상으로 테스트합니다. 물체 두 개 중 하나를 놓으면 부분 성공, 두 개 모두 놓으면 완전 성공으로 봅니다. 서랍 수납과 양손 스캔은 작업 단계의 완료 여부를 결과로 보고합니다. 드라이버 조작은 평균 유지 시간(초)과 분당 회전 수를 측정합니다.

정교한 조작 작업 전반의 정책 학습 (Q1)

모방 학습 결과는 네 가지 작업을 모두 다룹니다. DexPort 시연으로 학습한 정책은 목표 동작을 습득합니다. 즉, 파지 레이블 없이 핀치 그립과 파워 그립 중에서 선택하고, 같은 손으로 서랍을 당겨 여는 동안 물체를 쥐며, 손가락을 움직여 드라이버를 손안에서 돌리고, 두 팔을 협응해 물체를 스캐너에 제시합니다.

데이터 수집 처리량 (Q3)

한 손으로 수행하는 집기 및 놓기 작업을 30분 동안 연속 조작하며 수집한 궤적 수로 처리량을 측정하고, DexPort를 맨손을 이용한 사람 시연 및 원격 조작과 비교합니다. 장갑 원격 조작에서는 작업자가 손 추적에 Wuji Glove를, 말단 효과기 제어에 VR 컨트롤러를 사용합니다. 스킬 원격 조작에서는 작업자가 말단 효과기 제어에 VR 컨트롤러를 사용하고 DexPort와 같은 손 스킬을 사용합니다. 각 데이터 수집 방식에서 작업자는 전문가 수준입니다.

결론

한계

인체공학적 설계에도 불구하고 기기의 무게 때문에 장시간 쉬지 않고 사용하거나 회전 동작이 많은 작업을 수행하는 데 한계가 있습니다. 주된 병목이 손의 무게인 만큼, 향후 더 가볍고 작은 손을 개발하면 이를 개선할 수 있습니다. 또한 현재 스킬은 정교한 동작 공간의 일부만 다룹니다. 향후에는 손안 조작 스킬, 학습된 파지 등 시뮬레이션에서 학습한 추가 스킬로 기능을 확장하는 방안을 모색할 수 있습니다.

감사의 글

저자들은 데이터 수집과 지원을 맡은 Keyshawn King과 Volodymyr Behma, 초기 하드웨어 설계를 맡은 Andrew Wright에게 감사드립니다. 또한 의견과 지원을 제공한 Tingfan Wu, Anas Houssaini, Jensen Gao, FAR 팀에도 감사드립니다.

하드웨어 및 데이터 수집

하드웨어

손-카메라 모듈은 Wuji 손과 200° 어안 렌즈가 장착된 USB 보드 카메라로 구성됩니다. Wuji 1에서는 손 목표값에 5 Hz 저역 통과 필터를 적용한 뒤 손 펌웨어가 이를 1 kHz로 보간하며, 관절별 토크 한계는 0.5 N·m입니다.

기록 및 동기화

단일 기록 루프가 30 Hz로 실행됩니다. 카메라, 손, Quest 컨트롤러는 각각 백그라운드 스레드에서 읽어들입니다. 수집과 배포 단계에서 카메라와 손이 같은 30 Hz 루프를 사용하므로, 두 환경의 지연 시간은 대체로 비슷할 것으로 예상합니다. 따라서 UMI와 달리 스트림의 지연 시간을 측정하거나 후처리 과정에서 시간적으로 정렬하지 않습니다. 배포 시에는 비동기 추론을 통해 실행 시점이 지난 동작을 버립니다.

배포

제어

정책은 수집 속도와 같은 30 Hz로 실행됩니다. HATO를 따라 추론은 비동기적으로 실행됩니다. 새로 생성된 16단계 청크는 관측이 이뤄진 제어 틱에 맞춰 정렬하고, 처음 8단계만 유지하며, 실행 시점이 지난 단계는 버립니다. 각 틱에서 손과 손목 명령은 해당 틱을 포함하는 모든 청크의 평균으로 계산합니다. 각 청크는 10 DDIM 단계로 샘플링합니다. 예측된 손목 움직임은 장착 변환을 적용해 플랜지 목표값으로 변환하고, PyRoki에서 Levenberg–Marquardt 역기구학을 사용해 7-DoF 팔의 해를 구합니다.