DeepCybo의 연구진은 인간과 정렬된 휴머노이드 로봇 PrimeU를 개발했습니다. 이 로봇은 일반 인간 영상을 시청하는 것만으로 조작 작업을 학습할 수 있습니다. 즉, 로봇 전용 시연 데이터가 필요하지 않습니다. 연구진이 개발한 방법 PhysDex는 자아-외부 시점 영상 기록을 직접 실행 가능한 관절 공간 명령으로 변환하여, 높은 자유도를 가진 휴머노이드의 훈련 데이터 수집 비용을 획기적으로 절감합니다.
목차
연구진이 구축한 것
연구팀은 상체가 표준 성인 남성 인체 측정 데이터(어깨 너비, 팔 길이, 손 크기 모두 ANSUR II 평균과 5% 이내)와 일치하는 PrimeU를 설계했습니다. 이는 인간-로봇 전이에서 흔히 발생하는 형상 격차를 줄여줍니다. 로봇은 60자유도(DoF) 동작 공간(팔 관절 14개, 손 관절 40개, 목 관절 3개, 허리 3개)을 제공합니다. 각 손은 손가락당 4개의 관절 체인으로 구성되며, 기하학적 감독을 위해 명시적인 손끝 링크가 사용됩니다.
소프트웨어 측면에서 PhysDex는 비전-언어-행동(VLA) 정책으로, 로봇 머리 카메라의 자아 시점 영상, 텍스트 명령, 현재 관절 상태를 입력받아 흐름 매칭과 확산 변환기(DiT)를 사용하여 40개의 미래 관절 각도 명령 청크를 예측합니다. 핵심 혁신은 이중 공간 계층적 운동학적 제약(DS-HKC)으로, 미분 가능한 순기구학을 통해 관절 공간 예측을 작업 공간에서 감독하여 손목과 손끝 위치가 불완전한 인간 데이터로부터 학습할 때도 정확도를 유지하도록 합니다.
핵심 결과
실험은 형상 정렬, 관찰-동작 호환성, 제어기 정렬 동작 레이블, 관절 공간 실행 하의 작업 공간 기하학 등 네 가지 요구 사항을 검증했습니다.
첫째, 자아-외부 동작 복원 파이프라인은 웨어러블 관성 모션 캡처 슈트보다 깨끗한 손과 손목 추정치를 제공했습니다. 관성 슈트는 근거리 양손 작업에서 눈에 띄는 전체 드리프트를 보였지만, 카메라 기반 방법은 시연 내내 관찰된 신체와의 안정적인 정렬을 유지했습니다. 이는 반복적인 재보정 없이 고처리량 데이터 수집을 직접 지원합니다.
둘째, FK 인식 훈련(DS-HKC)은 관절 공간 손실만 사용한 기준선에 비해 작업 공간 손목 및 손끝 기하학을 개선했습니다. 정책 출력은 실행 가능한 관절 명령으로 유지되었지만, 운동학적 제약이 주요 접촉 지점에서 말단 효과기 오류를 줄였습니다. 논문에 따르면 FK 인식 변형은 실제 픽 앤 플레이스 및 도구 사용 작업에서 더 높은 성공률을 달성했지만, 제공된 텍스트에는 정확한 수치가 생략되었습니다. 핵심 요점: 실제 말단 효과기 자세 없이도 작업 공간 목표로 고차원 관절 동작을 감독할 수 있습니다.
작동 원리
파이프라인은 인간이 조작 작업을 수행하는 동기화된 자아(머리 카메라) 및 외부(3인칭) 비디오로 시작됩니다. 외부 스트림은 상체 및 손 관절 위치를 복원하기 위한 안정적인 기하학적 증거를 제공합니다. 시스템은 키포인트 추정 및 역기구학을 적용하여 인간 동작을 PrimeU URDF 모델로 재타겟팅하고, 60 DoF 관절 명령 청크를 생성합니다. 이 청크가 동작 레이블이 됩니다.
PhysDex 정책은 PhysBrain이라는 VLM 백본을 사용하여 자아 시점 이미지와 언어 명령을 인코딩합니다. VLM은 객체, 손, 접촉 신호, 작업 진행 상황을 나타내는 토큰을 출력하지만, 직접적으로 동작 생성에 영향을 미치지 않습니다. 대신 별도의 확산 변환기가 노이즈가 추가된 미래 동작 청크, 현재 로봇 상태, VLM 토큰을 입력받아 4단계에 걸쳐 반복적으로 노이즈를 제거합니다. 최종 출력은 60 DoF 순서의 40단계 관절 각도 청크입니다.
훈련 중 손실 함수는 네 가지 구성 요소(흐름 매칭 항목, 디코딩된 동작 손실, DS-HKC 항목)로 구성됩니다. DS-HKC는 예측된 관절 청크를 PrimeU의 미분 가능한 순기구학 모델에 매핑합니다. 그런 다음 손목 및 손끝 위치를 계산하고, 인간 유래 목표와 기하학적으로 일관되도록 감독을 적용합니다. 이는 여러 손가락 손의 경우 관절 공간 오류가 작업 성공과 잘 상관되지 않지만, 말단 효과기 오류는 상관되기 때문에 중요합니다.
동작은 항상 관절 공간으로 표현되며, 정책은 말단 효과기 자세를 출력하지 않습니다. 이는 런타임 역기구학을 피하고, 손의 널 공간 구조를 유지하며, 목과 허리 동작을 팔과 동일한 출력 규칙의 일부로 만듭니다.
로봇 공학에서의 중요성
이 연구는 휴머노이드 로봇 훈련의 경제성을 근본적으로 변화시킵니다. 수천 시간의 로봇 원격 조작 데이터(느리고 비싸며 전문 운영자 필요)를 수집하는 대신, 연구실은 방대한 기존 인간 시연 비디오 라이브러리를 활용할 수 있습니다. 핵심 통찰은 로봇이 인간과 치수 및 운동학적으로 유사할 경우, 인간 동작을 로봇 명령으로 변환하는 것이 잘못된 재타겟팅 문제가 아니라 해결 가능한 역기구학 문제가 된다는 것입니다.
중고 산업용 로봇이나 고급 휴머노이드를 평가하는 운영 관리자와 엔지니어에게 시사점은 명확합니다. 미래 휴머노이드는 인터넷 비디오 데이터에서 획득한 광범위한 기술 지식을 탑재하고, 특정 하드웨어에 대한 최소한의 미세 조정만 필요할 수 있습니다. 이는 창고, 조립, 가사 지원에서의 배치를 가속화할 수 있습니다. 또한 인간과 유사한 운동학을 가진 중국 협동 로봇도 유사한 제로샷 전이 전략의 이점을 얻을 수 있음을 시사합니다.
이중 공간 감독 기술(DS-HKC)은 작업 공간 정확도가 중요하지만 관절 공간 레이블만 사용 가능한 모든 고차원 로봇에 광범위하게 적용 가능합니다. 로봇 자체의 운동학 모델을 훈련 신호로 전환하여 값비싼 모션 캡처 슈트나 말단 효과기 추적 시스템의 필요성을 줄입니다.
한계 및 향후 과제
현재 파이프라인은 동기화된 자아 및 외부 비디오 피드가 필요하므로 데이터 수집이 여러 카메라가 있는 통제된 환경으로 제한됩니다. 심한 폐색, 모션 블러, 이동 카메라는 키포인트 복원 정확도를 저하시킵니다. 동작 재타겟팅 단계는 정확한 URDF 모델과 수동 조정된 관절 한계에 의존하며, 인간 수행자와 PrimeU 간의 작은 형태 차이가 여전히 잔여 오류를 유발합니다.
또한 정책은 제한된 벤치마크 작업에 대해서만 테스트되었습니다. 장기간 또는 접촉이 많은 작업(예: 조립, 매듭 묶기)은 관절 공간 동작 표현의 약점을 드러낼 수 있습니다. 마지막으로 VLM 백본(PhysBrain)은 임베디드 하드웨어에서의 실시간 배치를 제한할 수 있는 계산 비용을 부과합니다.
자주 묻는 질문
PrimeU가 다른 휴머노이드 로봇과 다른 점은 무엇인가요? PrimeU의 상체 치수는 평균 성인 남성 비율과 밀접하게 일치하여 인간 시연과 로봇 동작 간의 격차를 최소화합니다. 이는 일반 비디오로부터의 제로샷 학습을 가능하게 하는 설계 선택입니다.
PhysDex는 인간 비디오를 어떻게 로봇 명령으로 변환하나요? 자아-외부 비디오에서 인간 관절 위치를 복원하고, 역기구학을 적용하여 PrimeU의 60 DoF 모델로 재타겟팅한 후, 확산 정책을 훈련하여 자아 시점 카메라 입력과 언어 명령으로부터 미래 관절 청크를 예측합니다.
이중 공간 계층적 운동학적 제약(DS-HKC)이란 무엇인가요? DS-HKC는 미분 가능한 순기구학 모델을 통해 정책의 관절 공간 예측을 감독하는 훈련 기술로, 관절 레이블만 사용 가능할 때도 손목 및 손끝 위치가 기하학적으로 정확하도록 보장합니다.
이 방법이 로봇 전용 데이터의 필요성을 완전히 대체하나요? 아직은 아닙니다. 현재 파이프라인은 보정 및 잔여 형상 격차를 해결하기 위해 대상 하드웨어에 대한 일부 미세 조정이 여전히 필요합니다. 그러나 필요한 로봇 데이터 양을 획기적으로 줄입니다.
결론
PrimeU와 PhysDex는 세심한 형상 설계와 카메라 기반 동작 복원, 이중 공간 감독이 일반 인간 비디오로부터의 제로샷 휴머노이드 학습을 가능하게 함을 보여줍니다. 이 접근법은 데이터 수집 비용을 획기적으로 절감하면서 실행 가능한 관절 공간 제어를 유지할 것을 약속합니다. 자아 시점 전용 복원 및 합성 데이터 생성으로의 다음 단계는 광범위한 기술 습득을 현실로 만들 수 있습니다.