연구진은 일상적으로 녹화된 일인칭 인간 조작 영상을 15개 로봇 형태에 걸쳐 18,561시간의 시뮬레이션 로봇 훈련 데이터로 변환하는 파이프라인 Ego2Robot을 구축했습니다. 합성 데이터를 실제 로봇 시연과 섞으면 물리적 하드웨어에서 정책 성공률이 최대 14포인트 향상되었습니다. 이 연구는 전 세계에 넘쳐나는 인간 영상을 로봇 학습을 위한 확장 가능한 데이터 소스로 활용할 수 있는 길을 열었습니다.
목차
연구진이 만든 것
Ego2Robot은 사람들이 물건을 조작하는 평범한 일인칭 영상을 바로 사용 가능한 로봇 훈련 에피소드로 바꾸는 데이터 합성 파이프라인입니다. 이 파이프라인은 두 가지 정렬을 수행합니다. 동작 정렬은 손 자세를 추정하여 로봇의 운동학에 재사상한 다음, 카메라 프레임 기준 상대 끝점 표현으로 동작을 다시 표현하여 외부 보정 없이도 서로 다른 카메라와 로봇 팔에서 작동하게 합니다. 시각 정렬은 로봇을 장면에 렌더링하고, 인페인팅과 깊이 인식 합성을 사용하여 인간의 손을 대체하면서 환경을 보존합니다.
출력물은 다단계 품질 선별 시스템을 거치며, 비전-언어 모델이 각 에피소드의 텍스트 지시와 의미적 일관성을 감사합니다. 긴 녹화물은 자연어 설명과 함께 하위 작업으로 자동 분할됩니다. 그 결과는 보고된 가장 큰 에고-로봇 데이터셋입니다: 15개 로봇 형태에 걸친 18,561시간의 합성 데이터. 이 프로젝트는 또한 시각, 장면, 구현, 의미적 변환을 분리하는 비얽힌 일반화 벤치마크를 도입하고, 물리적 ACone 이중 팔 로봇에서 전체 접근 방식을 검증합니다.
주요 결과
가장 중요한 결과는 규모입니다: 15개 형태에 걸친 18,561시간의 합성 로봇 데이터로, 머리 장착 카메라보다 약간 더 많은 비용으로 얻은 에고 중심 비디오에서 생성되었습니다. 그러나 규모만으로 학습 가능한 데이터를 보장하지 않으므로, 팀은 일반화를 신중하게 측정했습니다. RoboTwin Randomized 벤치마크에서 원시 에고 비디오 사전 훈련은 28.1% 성공률을 기록했고, 동일한 비디오를 Ego2Robot 파이프라인에 통과시키면 31.7%(+3.6포인트)로 올라갔습니다. 1개에서 15개 형태로 확장하면 성능이 33.5%로 향상되었고, 원시 에고 클립을 16번째 '형태'로 추가하면 37.3%를 달성했습니다 — 원시 데이터가 사전 훈련 다양성을 효과적으로 풍부하게 합니다.
물리적 하드웨어에서는 결과가 더 놀랍습니다. 작업당 20개의 원격 조작 시연과 35분의 캐주얼 에고 플레이에서 생성된 675개의 합성 에피소드로 훈련된 ARX ACone 이중 팔 로봇은 모든 다섯 작업에서 로봇 전용 기준선을 능가했습니다. 가장 큰 향상은 블록 쌓기(+14포인트)와 나사 삽입(+13포인트)에서 나타났습니다. OpenPI 프레임워크에서의 비교는 Ego2R+Robot(1:1)이 보이지 않는 객체 및 재구문화된 지시를 포함한 거의 모든 설정에서 로봇 전용 기준선을 능가한다는 것을 발견했습니다.
작동 원리
파이프라인은 세 단계로 구성됩니다. 동작 정렬: 비디오에서 추출한 손 자세는 Aloha-Agilex, ARX-L5, Franka Panda, UR5e를 포함한 15개 로봇 구현 중 하나에 재사상됩니다. 정책이 카메라 프레임 기준 상대 끝점 표현으로 동작을 소비하기 때문에, 서로 다른 카메라와 로봇 팔의 에피소드는 보정 없이 공통 동작 공간을 공유합니다. 시각 정렬: 로봇은 깊이 인식 블렌딩으로 인페인트된 장면 위에 합성되어 로봇이 인간의 손을 대체하는 프레임을 생성합니다. 품질 선별: 안정성 필터가 짧은 무효 실행을 제거하고, 비전-언어 모델이 4fps로 각 클립을 감사하여 동작 유형, 객체 범주, 대상 위치가 지시와 모순되는 에피소드를 폐기합니다.
긴 녹화물의 경우 클립은 60초 경계에서 분할되고 VLM이 5~12단어 지시와 함께 완전한 하위 작업으로 분할하여 이후 정책을 조건화합니다. 모델은 Qwen3.5-4B 기반의 비전-언어-행동 아키텍처로, Diffusion Transformer 행동 헤드를 사용하여 32단계 행동 청크를 8개의 확산 단계(추론 시 4개의 오일러 단계)로 예측합니다. 훈련은 사전 훈련 후 미세 조정 방식으로 진행됩니다: 에고 소스 데이터로 사전 훈련한 다음 깨끗한 작업 시연으로 미세 조정 — 실제 로봇 실험에서는 1:1 혼합 비율을 사용합니다.
| 사전 훈련 데이터(에고 소스 전용) | 데이터 양 | RoboTwin Randomized 성공률 |
|---|---|---|
| 원시 에고 중심 비디오 | ~1,940시간 | 28.1% |
| Ego2R, 1형태(ARX-L5) | ~1,237시간 | 31.7% |
| Ego2R, 15형태 | ~18,561시간 | 33.5% |
| Ego2R(15) + 원시 에고 | ~20,501시간 | 37.3% |
논문의 절제 연구 결과; 모든 모델은 에고 소스 데이터로만 사전 훈련된 후 RoboTwin Clean으로 미세 조정됨.
로봇 공학에 중요한 이유
로봇 학습은 데이터에 의해 병목 현상이 발생합니다. 원격 조작 시연은 수집 속도가 느리고, 비용이 많이 들며, 종종 전문가가 필요합니다. Ego2Robot은 요리 튜토리얼, 수리 가이드, 언박싱 등 이미 존재하는 방대한 일인칭 인간 비디오 공급을 활용하여 이 병목 현상을 우회하고, 15가지 로봇 유형에 대한 18,561시간의 로봇 데이터로 변환합니다. 이는 구매자에게 중요한 이유는 동일한 비디오 코퍼스가 이기종 로봇 군집을 지원할 수 있기 때문입니다: 여러 팔 브랜드를 운영하는 조직은 하나의 데이터 소스에서 모든 로봇에 대한 사전 훈련 범위를 얻은 다음 작업당 수십 개의 원격 조작 데모로 보충할 수 있습니다.
카메라 프레임 동작 표현은 또한 실질적으로 의미가 있습니다: 데이터 소스를 혼합할 때 로봇별 보정 작업을 제거합니다. Robot Overflow에서 새 하드웨어를 평가하는 조직 — 휴머노이드 로봇 찾아보기 또는 중고 협동 로봇 구매 — 에게 기존 비디오 자산을 어떤 로봇이든 적응시키는 훈련 파이프라인은 진정한 비용 절감 효과를 제공합니다.
한계 및 미해결 과제
재사상은 인간의 손을 평행 집게 그리퍼에 매핑하므로 손가락 수준의 손재주는 폐기됩니다 — 다중 손가락 손으로의 전환은 향후 과제로 남아 있습니다. 시각 정렬은 인페인팅과 깊이 인식 합성에 의존하므로, 심한 폐색이나 복잡한 조명에서 인공물이 발생할 수 있습니다. 평가는 RoboTwin 2.0 작업 세트와 다섯 개의 실제 로봇 작업으로 제한되며, 모두 짧은 시간 범위의 탁상 조작입니다. 장시간 및 모바일 조작은 테스트되지 않았습니다. 실제 로봇 검증은 또한 작업 세트당 20개의 데모와 35분의 에고 플레이만 사용했습니다. 마지막으로, VLM 기반 선별은 감사자의 품질에 달려 있습니다 — 미묘한 불일치가 통과할 수 있으며, 과도한 필터링은 유용한 데이터를 폐기할 위험이 있습니다.
자주 묻는 질문
Ego2Robot이 정확히 무엇인가요? 일인칭 인간 조작 비디오를 로봇 훈련 에피소드로 변환하는 파이프라인으로, 손 동작을 로봇 팔에 재사상하고 로봇을 장면에 합성한 다음 비전-언어 모델로 출력을 필터링합니다.
파이프라인이 생성한 훈련 데이터는 얼마나 되나요? 다양한 에고 중심 비디오 소스에서 생성된 15개 로봇 형태에 걸친 18,561시간의 합성 에피소드 — 보고된 가장 큰 에고-로봇 데이터셋.
합성 데이터가 시뮬레이션뿐만 아니라 실제 로봇도 개선했나요? 네. 물리적 ARX ACone 이중 팔 로봇에서 합성 Ego2R 데이터와 작업당 20개의 원격 조작 데모를 혼합하면 다섯 가지 작업 모두에서 로봇 전용 훈련을 능가했으며, 최대 +14포인트 향상되었습니다.
15개 로봇 형태가 왜 중요한가요? 단일 인간 비디오 코퍼스가 다양한 팔에 대한 정책을 사전 훈련할 수 있으며, 카메라 프레임 상대 동작 표현 덕분에 서로 다른 로봇과 카메라의 데이터가 보정 없이 혼합될 수 있습니다.
결론
Ego2Robot은 인터넷에 축적된 인간 조작 비디오가 로봇 학습을 위한 실행 가능하고 확장 가능한 연료이며, 합성 데이터가 실제 시연을 대체하는 것이 아니라 보완한다는 강력한 주장을 제시합니다. 비얽힌 벤치마크는 합성 데이터가 어디에 도움이 되는지 측정하는 더 정밀한 도구를 제공합니다. 다음 단계는 손재주 손과 더 풍부한 렌더링 충실도입니다.