NVIDIA와 워싱턴 대학교 연구진이 GRAIL을 개발했습니다. GRAIL은 3D 에셋과 비디오 파운데이션 모델로부터 물리적으로 타당한 2만 개 이상의 휴머노이드 이동-조작 시퀀스를 생성하는 완전 디지털 파이프라인입니다. 이 접근법은 비용이 많이 드는 원격 조작이나 모션 캡처를 없애고, 생성된 데이터는 실제 로봇에 직접 전이되어 Unitree G1에서 물체 집기 성공률 84%, 계단 오르기 성공률 90%를 달성했습니다.
목차
연구진이 만든 것
GRAIL은 사람이 상자 집기나 계단 오르기 같은 상호작용을 수행하는 단일 비디오 클립을 로봇 학습에 바로 사용할 수 있는 완전한 훈련 시퀀스로 바꾸는 데이터 생성 프레임워크입니다. 제어되지 않은 비디오에서 모호한 4D 장면을 재구성하려는 기존 접근법과 달리, GRAIL은 먼저 3D 에셋(물체와 장면 기하학), 카메라 매개변수, 미터법 스케일, 로봇 비례 캐릭터를 완전히 명시합니다. 그런 다음 비디오 파운데이션 모델(VFM)을 사전 지식으로 사용하여 이 알려진 미터법 프레임 내에서 정확한 상호작용을 복원합니다.
파이프라인은 물체 집기, 계단 오르기, 경사면 횡단, 앉기 등의 작업을 포함하는 2만 개 이상의 물리적으로 타당한 시퀀스를 생성합니다. 각 시퀀스는 충돌, 지면 관통, 균형 등 물리적 타당성을 자동으로 검사하며, 유효한 시퀀스만 통과합니다. 출력에는 시뮬레이션에 이미 정렬된 로봇 추적 가능 궤적이 포함되어 있어, 다운스트림 sim-to-real 정책 학습을 직접 지원합니다. 연구팀은 실제 Unitree G1 휴머노이드 로봇에 자아중심 시각 정책을 배치하여 파이프라인을 종단 간 검증했습니다.
주요 결과
GRAIL은 생성된 데이터로 실제 환경에서 작동 가능한 정책을 만들 수 있음을 입증했습니다. 주요 벤치마크 수치는 Unitree G1의 실제 배치 결과입니다:
| 작업 | 실제 성공률 |
|---|---|
| 물체 집기 | 84% |
| 계단 오르기 | 90% |
배치 결과 외에도 논문은 생성된 4D HOI 시퀀스의 품질을 평가합니다. GRAIL의 시퀀스는 기존 생성 기준선보다 물리적으로 더 실행 가능하며, 충돌이나 비현실적인 운동학 때문에 폐기해야 하는 시퀀스가 더 적었습니다. 작업 일반 추적 정책은 강한 상각(amortization)을 보여줍니다: 관련 4D HOI 시퀀스 풀에서 훈련된 후, 동일한 추적기는 시퀀스별 재훈련 없이 해당 계열 내의 새로운 동작을 처리할 수 있습니다. 전체 데이터 생성 파이프라인은 완전 디지털로 실행되며, 사람이 작업을 수행하는 단일 비디오 외에는 물리적 데이터 수집이 필요하지 않습니다.
작동 방식
GRAIL은 세 단계로 작동합니다. 첫째, 데이터 생성: 3D 에셋(물체 + 장면)과 상호작용을 제안하는 비디오 파운데이션 모델(VFM)이 주어지면, 파이프라인은 완전히 명시된 미터법 세계 내에서 4D 인간-물체 상호작용(HOI) 시퀀스를 재구성합니다. 장면 기하학, 카메라, 스케일, 로봇 비례 캐릭터는 모두 VFM을 쿼리하기 전에 정의되어, 제어되지 않은 비디오에서 재구성할 때의 모호함을 피합니다. 출력은 휴머노이드 관절, 물체 포즈, 접촉 상태의 완전한 궤적입니다.
둘째, 추적기 훈련: GRAIL은 재구성된 데이터를 보완적인 작업 일반 추적기와 짝지습니다. 조작 작업(예: 집기)의 경우 물체 인식 잠재 어댑터(object-aware latent adaptor)가 물체의 기하학적 특징을 사용하여 저수준 제어기를 미세 조정합니다. 장면 수준 상호작용(예: 계단, 경사면, 앉기)의 경우 제어기는 높이 맵 인코더와 보조 운동학 디코더로 종단 간 미세 조정됩니다. 두 추적기 모두 로봇의 전신 동작을 구동하는 잠재 토큰을 출력하며, 시퀀스별 수동 튜닝이 필요하지 않습니다.
셋째, sim-to-real 배치: 물체 인식 및 장면 인식 추적기는 Luxonis OAK-D 카메라의 헤드 카메라 RGB 입력을 사용하여 별도의 자아중심 시각 정책으로 증류됩니다. 이 정책은 SONIC 제어기를 위한 잠재 토큰을 출력합니다. 훈련 중 도메인 무작위화는 실제 환경으로의 전이를 보장합니다. 실제 Unitree G1에서는 NVIDIA RTX 5090 GPU가 장착된 데스크톱이 10Hz로 추론을 실행하며, 네트워크 연결을 통해 시각 및 고유 수용 데이터를 스트리밍합니다. 이 파이프라인을 통해 로봇은 실제 환경에서 높은 성공률로 물체를 집고 계단을 오를 수 있었습니다.
로봇 공학에 중요한 이유
GRAIL은 휴머노이드 로봇의 능력을 제한해 온 데이터 병목 현상을 해결합니다. 현재 이동-조작 데이터 생성 방법은 값비싼 원격 조작 장비, 모션 캡처 시설, 또는 힘든 수동 코딩 궤적에 의존하며, 이는 경제적으로 확장되지 않습니다. GRAIL의 완전 디지털 파이프라인은 이 비용을 극적으로 줄입니다: 사람이 작업을 수행하는 단일 비디오만으로 수천 개의 로봇 학습 시퀀스를 생성할 수 있습니다.
창고, 공장 또는 서비스 환경에 휴머노이드 로봇을 배치하려는 기업에게 이는 더 낮은 비용으로 더 빠른 기술 습득을 의미합니다. 몇 주 동안 로봇을 원격 조종할 작업자를 고용하는 대신, 작업자는 참조 비디오를 녹화하고 GRAIL이 훈련 데이터를 생성하도록 할 수 있습니다. 동일한 파이프라인이 조작(물체 집기)과 이동(계단 오르기) 모두에 작동한다는 점은 범용 휴머노이드에 특히 가치가 있습니다. 구매자에게 이 기술은 Unitree G1과 같은 플랫폼의 ROI에 직접 영향을 미칩니다. Robot Overflow에서 휴머노이드 로봇을 탐색하거나, 작업별 요구 사항에 맞게 창고 로봇과 비교해 보세요.
한계점과 열린 문제
GRAIL은 몇 가지 제약을 물려받습니다. 파이프라인은 물체와 장면의 고품질 3D 에셋이 필요하며, 비디오만으로는 작동할 수 없습니다. 비디오 파운데이션 모델이 요청된 상호작용을 올바르게 따라야 하며, 심한 폐색, 빠른 동작 또는 일관되지 않은 물체 외관 아래에서는 재구성 품질이 저하됩니다. 실패 필터링 단계는 생성된 시퀀스의 상당 부분을 폐기하여 전체 수율을 낮춥니다. 또한 작업 일반 추적 정책은 동작 계열이 크게 변할 때(예: 평지 걷기에서 장애물 아래 기어가기로 전환) 여전히 재훈련이나 미세 조정이 필요합니다. 실제 환경 검증은 하나의 로봇 플랫폼에서 두 가지 작업으로 제한되었으며, 더 다양한 동작과 여러 로봇 하드웨어로의 확장은 여전히 과제로 남아 있습니다.
자주 묻는 질문
GRAIL의 약자는 무엇인가요? GRAIL은 Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors의 약자로, 단일 참조 비디오와 물체 및 장면의 3D 모델로부터 로봇 훈련 데이터를 생성하는 완전 디지털 파이프라인입니다.
GRAIL은 원격 조작 없이 어떻게 훈련 데이터를 생성하나요? 비디오 파운데이션 모델을 상호작용 사전 지식으로 사용한 후, 알려진 기하학, 스케일, 카메라 매개변수가 있는 완전히 명시된 3D 장면에서 인간-로봇 상호작용을 재구성하여 물리적 데이터 수집이나 수동 코딩 궤적을 없앱니다.
GRAIL 데이터로 Unitree G1이 실제 환경에서 달성한 성공률은? 자아중심 시각 정책으로 물체 집기 84%, 계단 오르기 90%를 달성했으며, 이 정책은 도메인 무작위화를 적용한 GRAIL 생성 시퀀스로 훈련되었습니다.
GRAIL의 주요 한계는 무엇인가요? 모든 물체와 장면에 3D 에셋이 필요하며, 비디오 파운데이션 모델이 상호작용을 정확히 제안해야 하고, 폐색이나 빠른 동작에서 재구성 품질이 떨어집니다. 또한 생성된 추적기는 동작 계열이 크게 달라지면 재훈련이 필요합니다.
결론
GRAIL은 실제 Unitree G1 배치를 통해 검증된, 확장 가능한 디지털 전용 휴머노이드 이동-조작 훈련 데이터 생성 솔루션을 제공합니다. 비디오 파운데이션 모델 사전 지식과 정밀하게 명시된 3D 에셋을 결합하여, 로봇에 새로운 물리적 기술을 가르치는 비용과 복잡성을 줄입니다. 이 연구는 휴머노이드 로봇이 단일 비디오 시연만으로 복잡한 작업을 학습할 수 있는 미래를 가리킵니다.