로봇 조작을 위한 데이터 생태계는 구조적 변화를 겪고 있으며, 로봇 특화 데이터셋에서 다중 소스, 교차 체형 자원으로 전환되고 있습니다. 이 논문은 로봇 조작을 위한 데이터 피라미드를 제시합니다. 이는 세 가지 상호 보완적 소스(실제 로봇, 인간 시연, 시뮬레이션)의 데이터를 분류하고, 각 계층을 정의하는 파이프라인, 표현 및 트레이드오프를 분석하는 통합 프레임워크입니다.
체형과 양식
이러한 차이점은 학습 문제의 차원뿐만 아니라 데이터를 여러 플랫폼에서 공유할 수 있는 정도에도 영향을 미칩니다. 관절 공간 표현은 관절형 손에 직접적이고 정밀한 제어를 제공하지만 로봇 형태에 크게 의존합니다. 반면, 엔드 이펙터 중심 표현은 여러 체형에 걸쳐 팔 동작에 대한 더 전이 가능한 인터페이스를 제공할 수 있지만, 일관된 좌표 프레임과 제어 규칙이 여전히 필요합니다. 정책 학습에서 고유수용감 상태와 행동은 적절한 수치적 척도를 유지하고 여러 체형에서 학습을 용이하게 하기 위해 종종 정규화됩니다. 일반적인 선택으로는 MinMax, Q01-Q99 및 MeanStd 정규화가 있습니다.
데이터 수집 패러다임
스크립트 기반 수집은 일반적으로 지속적인 인간 제어 없이 로봇 행동이 실행되는 데이터 생성 프로세스를 의미합니다. 각 에피소드를 수동으로 제어하는 대신, 인간의 노력은 작업 로직, 제어 파이프라인 및 실행 조건을 설계하는 쪽으로 이동됩니다. 시스템 설계와 에피소드 수준 실행 간의 이러한 분리는 상대적으로 낮은 한계 비용으로 반복적이고 병렬적인 데이터 수집을 가능하게 합니다. 로봇 행동이 생성되는 방식에 따라 스크립트 기반 수집은 크게 규칙 기반 실행, 궤적 재생 및 자율 정책 롤아웃으로 분류될 수 있습니다.
실제 로봇 데이터의 장점과 한계
실제 로봇 데이터는 로봇의 관측, 행동 및 물리적 결과 간의 관계를 직접 포착하여 물리적으로 근거한 감독을 제공합니다. 시뮬레이션이나 인간 비디오와 비교할 때, 이는 실제 센서 노이즈, 제어 지연, 접촉 역학 및 하드웨어 제약을 자연스럽게 반영합니다. 또한 기록된 행동은 해당 플랫폼에서 직접 실행 가능하므로 신뢰할 수 있는 조작 정책 및 복구 행동을 학습하는 데 특히 가치가 있습니다.
주요 한계는 수집 비용이 높다는 것입니다. 실제 로봇 데이터는 물리적 하드웨어, 인간 운영 또는 자동화된 수집 파이프라인, 반복적인 환경 재설정, 유지보수 및 안전 감독이 필요하므로 대규모 및 병렬 데이터 수집이 제한됩니다. 또한 많은 데이터셋이 특정 로봇, 작업 및 환경에 집중되어 있습니다. 체형, 센서 구성, 좌표계 및 행동 표현의 차이는 데이터 집계와 플랫폼 간 전송을 더욱 복잡하게 만듭니다.
UMI(Universal Manipulation Interface) 데이터 개요
UMI(Universal Manipulation Interface) 데이터는 대상 로봇을 직접 조작하는 대신 휴대용 로봇 독립적 인터페이스를 통해 수집된 실제 조작 데이터셋군을 의미합니다. 일반적인 UMI 시스템은 하나 이상의 카메라, 휴대용 그리퍼 또는 손재주 인터페이스, 포즈 추적 모듈을 통합하여 시각적 관측, 엔드 이펙터 움직임, 그리퍼 상태, 그리고 최근 일부 시스템에서는 힘 또는 촉각 신호를 기록합니다. 이러한 시연은 캘리브레이션, 행동 변환 및 체형별 리타겟팅을 통해 로봇 호환 궤적으로 변환될 수 있습니다.
UMI 데이터 수집 파이프라인
UMI 스타일 시스템에서 생성된 데이터는 체형, 감각 양식 및 규모 측면에서 점점 다양해지고 있습니다. 초기 UMI 데이터셋은 주로 병렬 그리퍼와 손목 뷰 RGB 관측을 사용한 단일 팔 조작에 초점을 맞췄습니다. 후속 연구는 UMI on Legs 및 HuMI에서와 같이 모바일 매니퓰레이터와 전신 휴머노이드 시스템, 그리고 양손 조작과 손재주 손으로 이 패러다임을 확장했습니다.
교차 체형 배포
교차 체형 배포는 로봇이 없는 UMI 시연에서 학습된 정책을 다른 운동학적 구조와 센서 구성을 가진 로봇으로 전송하는 것을 목표로 합니다. 핵심 아이디어는 체형에 구애받지 않는 작업 표현을 체형별 실행과 분리하는 것입니다. 특정 로봇에 묶인 관절 공간 명령을 예측하는 대신, UMI 스타일 정책은 엔드 이펙터 중심 행동 공간에서 작동하며, 일반적으로 상대적 6자유도 궤적과 그리퍼 명령을 생성합니다. 배포 중에 예측된 상대 궤적은 로봇의 현재 엔드 이펙터 포즈와 합성되어 로봇 베이스 프레임으로 변환됩니다. 결과 목표 포즈는 역기구학, 모션 플래닝 또는 저수준 직교 제어기를 통해 실행 가능한 관절 명령으로 변환됩니다.
UMI 데이터의 장점과 한계
UMI 데이터의 주요 장점은 확장성, 환경 다양성 및 특정 로봇 체형에 대한 의존도 감소입니다. 특히 휴대용 로봇 없는 수집 설정은 다양한 일상 환경에서 현장 데이터 수집을 가능하게 합니다. 인간 운영자는 다양한 실제 환경에서 부드럽고 자연스러운 조작 시연을 수집할 수 있으며, 엔드 이펙터 중심 행동 표현은 여러 로봇 플랫폼에서의 재사용을 용이하게 합니다. 양손 움직임, 손재주 손 및 촉각 감지를 통합한 최근 확장은 UMI 스타일 시스템이 포착하는 행동 범위를 더욱 넓힙니다.
그러나 UMI 데이터가 체형 격차를 완전히 없애지는 않습니다. 카메라 시점, 엔드 이펙터 기하학, 운동학적 제약, 역학 및 접촉 조건의 차이는 시연과 로봇 실행 사이의 불일치로 이어질 수 있습니다. 또한 품질은 정확한 포즈 추적과 센서 동기화에 의존하며, 이는 폐색, 빠른 움직임 또는 시각적으로 까다로운 환경에서 저하될 수 있습니다. 더욱이 UMI는 일반적으로 로봇 특화 고유수용감과 액추에이터 역학이 부족합니다. 따라서 이는 체형별 실제 로봇 데이터에 대한 확장 가능한 보완재로 간주하는 것이 가장 좋으며, 완전한 대체재는 아닙니다.
인간 시연 데이터를 위한 캡처 인프라
자아중심 및 외부중심 캡처 시스템은 웨어러블 및 환경 장치를 결합하여 외관, 기하학, 움직임, 주의 및 물리적 상호작용을 측정합니다. 우리는 하드웨어를 관찰하는 물리량에 따라 구성합니다: 시각 센서는 이미지와 깊이 스트림을 기록하고, 모션 추적 시스템은 장치 또는 신체 운동학을 측정하며, 보조 센서는 주의, 근육 활성화 및 접촉을 노출합니다. 이러한 범주에서 주요 트레이드오프는 공간 범위, 시간 해상도, 이동성, 침입성, 정확성 및 캘리브레이션 요구 사항과 관련됩니다.
웨어러블 카메라. 단안 RGB 캡처는 일반적으로 머리나 가슴에 장착된 단일 컬러 카메라를 사용하여 착용자의 시각적 스트림을 근사합니다. 이러한 카메라는 가볍고 저렴하며 장시간 수집에 적합하며, EPIC-KITCHENS와 Ego4D가 그 예입니다. 그러나 미터법 깊이를 직접 측정하지 않으며, 빠른 머리 움직임은 흐림을 유발할 수 있고 손이 조작된 물체를 가릴 수 있습니다.
이벤트 카메라는 다른 접근 방식을 취합니다: 고정된 속도로 기존 프레임을 생성하는 대신, 각 픽셀은 비동기적으로 밝기 변화를 보고합니다. 높은 시간 해상도는 빠른 손 움직임 중 모션 블러를 줄이지만, 특수 처리가 필요한 희소 데이터를 생성합니다; EgoEV-HandPose는 스테레오 이벤트 카메라로 이 설정을 탐구합니다.
외부중심 카메라 시스템. 외부중심 시스템은 환경에 하나 이상의 카메라를 배치하여 고정된 3인칭 시점에서 착용자를 관찰합니다. 이는 웨어러블 카메라의 시야 밖에 있거나 가려질 수 있는 신체, 손 및 장면 맥락을 드러내며, 동기화된 뷰는 삼각 측량 및 다중 뷰 재구성을 지원합니다. Assembly101은 미세 조립 활동을 위해 웨어러블 및 외부 카메라를 결합하고, Ego-Exo4D는 Project Aria 안경과 여러 주변 GoPro 카메라를 짝지웁니다. 추가적인 커버리지는 환경 설정, 카메라 간 캘리브레이션 및 동기화, 더 높은 저장 요구 사항 및 감소된 수집 이동성의 비용이 따릅니다.
인간 데이터에 대한 감독 구성
자아중심 감독은 센서에 의해 기록되거나, 인간 주석자가 추가하거나, 후처리를 통해 복구될 수 있습니다. 우리는 학습에 노출된 정보에 따라 이를 네 가지 상호 보완적 범주로 그룹화합니다: 의미적 감독은 작업 내용과 구조를 설명하고, 기하학적 감독은 공간 상태와 움직임을 설명하며, 다중 모드 감독은 RGB 이상의 주의, 역학 및 접촉 신호를 제공하고, 로봇 지향 감독은 인간 시연을 로봇 정책 학습을 위한 형태로 표현합니다. 이들의 구성은 주석, 캘리브레이션, 동기화, 재구성 및 교차 체형 정렬을 결합하며, 비용과 오류 원인이 다릅니다.
절차 및 상태 주석. 절차 주석은 개별 행동이 작업을 구성하는 방식을 설명합니다. 여기에는 순서가 지정된 단계, 작업 진행, 실행 오류 및 물체 또는 환경 상태 변경이 포함되며, 일반적으로 비디오를 작업 스크립트와 정렬하고 예상 절차와의 편차를 확인하여 구성됩니다. Assembly101은 조립 절차 내에서 미세한 행동을 구성하는 반면, CaptainCook4D는 오류 및 물체 상태와 함께 요리 단계에 레이블을 지정합니다. 이러한 감독은 고립된 행동 레이블이 놓치는 장기 의존성 및 작업 결과를 노출하지만, 해당 어휘는 종종 특정 절차나 도메인에 특화됩니다.
인간 시연 데이터의 장점과 한계
자아중심 및 외부중심 데이터는 대상 로봇에서 실행할 필요 없이 대규모로 자연스러운 인간 시연을 포착합니다. 웨어러블 시스템은 다양한 참가자, 환경, 물체 및 작업에 배포될 수 있으며, 1인칭 관측은 손-물체 상호작용과 장기 활동 구조를 강조합니다. 고정 베이스 로봇 수집과 달리, 인간 운영자는 환경 내에서 자유롭게 이동하고 손재주 손으로 물체를 직접 조작할 수 있습니다. 이러한 이동성은 더 넓은 공간 범위와 더 다양한 손 궤적(접근 방향, 운동 경로 및 상호작용 높이의 변화 포함)을 가능하게 합니다. EgoVerse 예는 이러한 잠재력을 보여줍니다: 인간 손 상호작용 키프레임은 광범위한 3차원 작업 공간에 걸쳐 있으며 상당한 공간적 변이를 나타냅니다.
그러나 자아중심 데이터는 로봇 경험과 동일하지 않습니다. 1인칭 녹화는 부분적 관찰 가능성, 손-물체 가림, 빠른 카메라 움직임, 모션 블러 및 장치 의존적 시점으로 어려움을 겪습니다. 조밀한 기하학적 및 다중 모드 감독은 추가 하드웨어, 캘리브레이션, 동기화 및 재구성이 필요하며, 대규모로 균일하게 사용 가능하지 않습니다. 더 근본적으로, 인간 녹화는 로봇 고유수용감, 액추에이터 역학 및 직접 실행 가능한 행동이 부족합니다. 형태, 운동학, 감지 및 접촉 반응의 차이는 직접적인 궤적 전송을 더욱 방해합니다. 따라서 로봇 학습에서의 사용은 신뢰할 수 있는 상태 재구성, 체형 인식 표현 및 인간-로봇 정렬 또는 리타겟팅이 필요합니다.
시뮬레이션 인프라 및 자산 생태계
시뮬레이션된 로봇 학습 생태계는 세 가지 결합된 인프라 구성 요소의 조합으로 볼 수 있습니다: 체형-센서 시스템, 물체 및 장면 자산, 물리 및 렌더링 백엔드. 체형-센서 시스템은 로봇 형태, 운동학, 작동 모델 및 컨트롤러 인터페이스뿐만 아니라 고유수용감, 손목 또는 머리 장착 비전, 힘 감지 및 촉각 배열과 같은 로봇 본체에 물리적으로 연결된 감지 채널도 정의합니다. 물체 및 장면 자산은 환경의 기하학적, 의미적 및 어포던스 구조를 제공하는 반면, 물리 및 렌더링 백엔드는 생성된 데이터의 접촉 역학, 시각적 외관 및 실행 충실도를 결정합니다.
시뮬레이션된 조작 데이터를 구성하려면 먼저 체형-센서 시스템을 시뮬레이터로 가져와야 하며, 여기서 로봇 자산은 제어 가능한 관절 모델로 인스턴스화되고 센서는 상호작용 중에 관측을 획득하도록 구성됩니다. 시뮬레이터는 URDF, MJCF, SDF 또는 USD와 같은 로봇 설명을 구문 분석하여 운동학, 관절 제한, 관성 속성, 충돌 및 시각적 기하학, 액추에이터 및 센서 부착을 지정한 다음, 정의된 초기 포즈, 관절 상태, 물체, 조명, 중력 및 솔버 설정이 있는 장면에 시스템을 배치합니다.
벤치마크 및 시뮬레이션 데이터셋
표 5는 대규모 합성 및 시뮬레이션 기반 데이터 리소스를 데이터 양, 작업 범위, 체형 다양성 및 지원되는 조작 설정 측면에서 요약합니다. 이러한 리소스는 작업 수준 조작 궤적에서 대규모 그립 및 손재주 손 샘플에 이르기까지 다양합니다. 최근 데이터셋은 점점 더 여러 체형과 훨씬 더 큰 데이터 양(수십만 또는 수백만 개의 궤적, 그립 중심 리소스의 경우 훨씬 더 많은 생성 샘플)을 포함합니다. 그러나 대부분의 데이터셋은 여전히 강체 또는 관절 물체 조작에 집중되어 있으며, 변형 가능한 상호작용 및 모바일 조작에 대한 범위는 상대적으로 제한적입니다.
시뮬레이션-실제 격차
시뮬레이션-실제 전송은 시뮬레이션 기반 로봇 데이터에서 오랫동안 중심 문제였으며, 합성 궤적은 시뮬레이터 내 학습뿐만 아니라 실제 로봇 배포를 지원할 것으로 예상됩니다. 데이터 중심 관점에서 이 격차는 주로 관측 불일치와 상호작용 불일치로 인해 발생합니다.
첫 번째는 렌더링된 감각 관측과 실제 로봇 인식 간의 차이와 관련됩니다. 최근 시뮬레이션 데이터셋은 3D 자산, 조명, 카메라 모델, 관절 물체 및 다중 모드 센서를 통해 현실감을 개선하지만, 그 관측은 질감, 조명, 재료 외관, 깊이 노이즈, 카메라 캘리브레이션, 가림, 촉각 반응 및 힘 신호에서 실제 데이터와 여전히 다를 수 있습니다.
시뮬레이션 데이터의 장점과 한계
시뮬레이션 데이터는 제어 가능한 가상 환경에서 로봇 관측, 행동 및 작업 결과를 생성하여 확장 가능한 감독을 제공합니다. 실제 로봇 데이터와 비교할 때, 더 낮은 한계 비용, 광범위한 병렬화, 제한된 안전 위험 및 하드웨어 마모 없이 수집할 수 있습니다. 시뮬레이터는 또한 물체 포즈, 분할 마스크, 접촉 상태, 물리적 매개변수, 성공 신호 및 조밀한 보상과 같이 실제 시스템에서 얻기 어려운 특권 레이블을 제공합니다. 이러한 특성은 시뮬레이션을 대규모 정책 사전 학습, 제어된 평가, 장면 및 작업 무작위화, 다양한 상호작용 궤적 합성에 유용하게 만듭니다.
시뮬레이션 데이터의 주요 한계는 제한된 물리적 충실도입니다. 감지, 작동, 접촉 및 물체 역학의 근사치는 상당한 시뮬레이션-실제 불일치를 초래할 수 있으며, 특히 접촉이 많은 조작, 변형 가능한 물체, 반사 재료, 액체 및 장기 작업에서 두드러집니다. 더욱이 규모가 반드시 다양성을 의미하지는 않습니다: InternData-A1이 보여주듯이, 기술 제약 생성은 작업 변이가 제한된 많은 궤적을 생성할 수 있습니다.
자주 묻는 질문
로봇 조작을 위한 데이터 피라미드란 무엇인가요? 이는 조작 데이터를 세 가지 상호 보완적 소스(실제 로봇, 인간 시연, 시뮬레이션)로 분류하고 각 계층을 정의하는 파이프라인, 표현 및 트레이드오프를 분석하는 통합 프레임워크입니다.
UMI(Universal Manipulation Interface) 데이터는 어떻게 교차 체형 배포를 가능하게 하나요? UMI 데이터는 엔드 이펙터 중심 행동 표현을 사용하여 체형에 구애받지 않는 작업 정보를 로봇별 실행과 분리함으로써, 캘리브레이션 및 리타겟팅을 통해 여러 로봇 플랫폼 간에 정책을 전송할 수 있게 합니다.
로봇 학습에 자아중심 인간 비디오를 사용할 때의 주요 한계는 무엇인가요? 인간 녹화는 로봇 고유수용감, 액추에이터 역학 및 직접 실행 가능한 행동이 부족하며, 형태, 운동학 및 감지의 차이는 신뢰할 수 있는 상태 재구성과 인간-로봇 정렬 없이 직접적인 궤적 전송을 방해합니다.
시뮬레이션-실제 격차에도 불구하고 시뮬레이션 데이터가 유용한 이유는 무엇인가요? 시뮬레이션은 물체 포즈 및 접촉 상태와 같은 특권 레이블을 사용한 확장 가능한 병렬 데이터 수집을 가능하게 하고, 안전하고 제어된 평가 및 작업 무작위화를 허용하므로, 물리적 충실도가 여전히 과제임에도 불구하고 정책 사전 학습에 가치가 있습니다.