본 논문에서는 브라우저 기반 MuJoCo-WASM 원격 조작과 자동 태스크 생성을 통해 확장 가능한 조작 데이터 수집을 가능하게 하는 웹 기반 커뮤니티 주도 인프라인 AXIS를 소개합니다. 우리는 207개 태스크, 50K 이상의 궤적으로 구성된 성장형 조작 데이터셋을 구축하고, 궤적 표준화, 성공 검증, 품질 필터링, 시간적 평활화, 리샘플링, IsaacSim 기반 시각 및 물리 증강, 버전별 태스크 스냅샷을 포함한 통합 데이터 처리 파이프라인을 제공합니다. 또한, AXIS-25%/50%/100% 데이터셋 스냅샷을 사용한 표준화된 벤치마크 비교 및 통제된 스케일링 실험을 포함하여, 정책 학습 및 체내 데이터셋 스케일링을 연구하기 위한 체계적인 평가 프로토콜을 소개합니다.
확장 가능한 로봇 데이터 수집
데이터셋 계층은 검증, 필터링, 정제, 증강을 통해 커뮤니티 시연을 학습 가능한 로봇 궤적으로 변환합니다. 시연이 스크립트된 컨트롤러가 아닌 인간 운영자로부터 수집되므로, 결과 데이터는 접근 방향, 그립 타이밍, 교정 동작, 실행 스타일에서 행동 다양성을 포함합니다.
완료된 시연은 통합 궤적 형식으로 직렬화됩니다. 각 궤적에는 태스크 메타데이터, 로봇 체형, 환경 식별자, 시뮬레이터 버전, 타임스탬프, 관측값, 로봇 상태, 행동, 성공 정보가 포함됩니다. 선택적 필드로는 객체 상태, 카메라 스트림, 세분화 마커, 실패 레이블이 있습니다. 이 형식은 시연을 재생 가능하고, 필터링 가능하며, 다운스트림 정책 학습과 호환 가능하게 만듭니다.
AXIS Franka 데이터셋
검증 및 정제. 데이터 품질을 보장하기 위해 모든 시연은 궤적 완전성, 태스크 성공, 물리적 일관성을 검증하는 표준화된 검증 파이프라인을 거칩니다. 유효한 궤적은 이후 평활화되고 균일한 제어 주파수로 리샘플링되어 시간적 일관성을 개선하고 원격 조작 노이즈를 줄입니다. 정제 과정은 높은 재생 성공률을 유지하면서 가속도와 저크를 크게 줄입니다. 추가 구현 세부 사항은 부록에 제공됩니다.
데이터 증강. 다양성과 견고성을 개선하기 위해 AXIS는 공간 및 시각적 무작위화를 통한 증강을 통합합니다. 이러한 증강은 태스크 의미와 성공 조건을 유지하면서 추가적인 유효한 장면 구성을 생성합니다. 결과적인 변형은 객체 배치, 시점, 텍스처, 조명, 배경의 변화를 포함하여 데이터셋을 60K 이상의 장면 변형으로 확장합니다. 이러한 다양성은 AXIS를 환경 변화 하에서의 견고성과 일반화 연구에 특히 유용하게 만듭니다.
벤치마크는 두 가지 보완적인 평가 모드를 지원합니다. 첫째, AXIS는 기존의 시각운동 모방 학습 방법과 시각-언어-행동 정책을 포함한 대표적인 정책 제품군 간의 직접 비교를 가능하게 합니다. 둘째, AXIS는 체내 스케일링 연구를 지원하여 정책이 AXIS-25%, AXIS-50%, AXIS-100% 및 향후 더 큰 스냅샷에서 훈련되어 추가 태스크 커버리지가 고정된 조작 일반화를 개선하는지 측정합니다. 함께, 이러한 특성은 AXIS를 대규모 조작 데이터셋일 뿐만 아니라 확장 가능한 로봇 학습 및 데이터 기반 일반화를 연구하기 위한 장기 벤치마크로 자리매김하게 합니다.
실험 설정
AXIS 데이터셋. AXIS 훈련 코퍼스는 브라우저 기반 MuJoCo-WASM 원격 조작 프론트엔드를 통해 수집되고 통합 AXIS 궤적 형식으로 저장됩니다. 로봇 체형은 Franka Research 3 로봇 팔과 평행 조 그리퍼입니다. 태스크는 집어서 옮기기, 쌓기 및 정렬, 관절 객체 상호작용, 밀기, 따르기, 도구 사용 스타일 조작을 포함한 테이블탑 조작 동작을 다룹니다. 원시 시연은 AXIS 처리 파이프라인(성공 검증, 정적 세그먼트 제거, Savitzky-Golay 평활화, 고정 속도 리샘플링)을 거친 후 무작위화된 시각 및 물리 조건 하에서 IsaacSim에서 재생됩니다. 우리는 가장 큰 지속적 사전 훈련 풀로 AXIS-100% 스냅샷을 사용하고, 스케일링 실험에 사용되는 25% 및 50% 서브셋을 구성하기 위해 태스크 수준에서 교체 없이 균일하게 샘플링합니다.
평가 프로토콜. 모든 정책은 7가지 축(카메라, 조명, 센서 노이즈, 배경, 레이아웃, 언어, 로봇)을 따라 체계적인 교란을 추가하는 LIBERO-Plus 견고성 스위트에서 평가됩니다. 각 (태스크, 교란 축) 쌍에 대해 조건 전반에 걸쳐 롤아웃 예산을 상수 롤아웃 수로 고정하고, 롤아웃에 대한 평균 성공률을 보고합니다. 분포 내 건전성 확인을 위해 AXIS-100%의 고정 태스크 분할에 대한 성공률도 추가로 보고합니다. 이는 AXIS 지속적 사전 훈련이 정책을 AXIS 태스크 분포에서 파괴적으로 이동시키지 않음을 확인합니다.
논의
왜 성장형 데이터셋이 중요한가. 정적 데이터셋은 벤치마킹에 유용하지만, 로봇 조작 학습은 모델 능력과 관찰된 실패에 따라 성장할 수 있는 데이터 소스의 이점도 누릴 수 있습니다. AXIS는 데이터 수집을 반복적인 피드백 루프로 전환합니다. 태스크 생성 모듈은 새로운 조작 문제를 통해 의미적 다양성을 확장하고, 커뮤니티 원격 조작은 다양한 인간 전략과 교정을 통해 행동 다양성을 추가하며, 시각 및 물리 증강은 외관, 장면 구성, 역학의 변화를 통해 환경 다양성을 확장합니다. 이러한 의미에서 데이터셋 성장은 일회성 릴리스 과정이 아닌 정책 견고성을 개선하기 위한 메커니즘이 됩니다.
커뮤니티 수집과 데이터 품질. 커뮤니티 주도 수집은 규모와 접근성을 개선하지만, 운영자 기술, 동작 부드러움, 전략, 태스크 완료 품질에 상당한 변동을 초래합니다. 유용한 변동은 정책이 다양한 그립, 회복, 교정 패턴에 노출되게 하지만, 유해한 변동은 손상된 상태, 유휴 세그먼트, 실패한 롤아웃, 불연속성, 불안정한 행동으로 나타납니다. AXIS는 검증, 정리, 평활화, 재생, 증강을 데이터셋 구축의 핵심 단계로 만들어 광범위한 참여와 다운스트림 정책 학습에 필요한 품질 관리를 통합함으로써 이러한 트레이드오프를 해결합니다.
결론
우리는 로봇 조작을 위한 확장 가능한 학습을 위한 성장형 커뮤니티 기반 데이터 엔진 및 벤치마크인 AXIS를 소개했습니다. AXIS는 브라우저 기반 MuJoCo-WASM 원격 조작, 자동 태스크 생성, 분산 시연 수집, 표준화된 궤적 처리, IsaacSim 기반 증강, 고정 프로토콜 평가를 결합합니다. 이는 새로운 태스크, 시연, 증강된 조건을 통해 확장 가능한 학습 준비 데이터셋을 구축하면서 시각-언어-행동 정책 간의 통제된 비교를 가능하게 합니다. 더 넓게는, AXIS는 태스크 생성, 커뮤니티 수집, 정책 훈련, 실패 기반 개선을 연결하는 지속적으로 확장 가능한 로봇 데이터 파이프라인을 지향합니다.
한계 및 향후 작업. AXIS는 현재 시뮬레이션된 Franka 테이블탑 조작에 초점을 맞추고 있으며, 시뮬레이션-현실 전환은 여전히 해결되지 않은 과제입니다. 향후 작업은 AXIS를 더 많은 로봇 체형, 풍부한 감각 양식, 더 긴 수평 태스크, 더 세분화된 주석, 능동적 실패 기반 데이터 수집으로 확장하여 더 일반화 가능하고 확장 가능한 로봇 학습을 지원할 것입니다.
자주 묻는 질문
AXIS 데이터 엔진이란 무엇이며 어떻게 확장 가능한 로봇 조작 데이터 수집을 가능하게 합니까? AXIS는 브라우저 기반 MuJoCo-WASM 원격 조작과 자동 태스크 생성을 사용하여 70,000명 이상의 커뮤니티 멤버로부터 확장 가능한 조작 데이터를 수집하는 웹 기반 커뮤니티 주도 인프라입니다.
AXIS는 다양한 인간 운영자로부터 오는 데이터 품질을 어떻게 보장합니까? 시스템은 궤적 완전성, 태스크 성공, 물리적 일관성을 검증하는 표준화된 검증 파이프라인을 적용한 후, 평활화, 리샘플링, 데이터 증강을 통해 운영자 기술과 동작 부드러움의 변동을 해결합니다.
AXIS Franka 데이터셋은 어떤 로봇 태스크와 체형을 다룹니까? 데이터셋은 Franka Research 3 로봇 팔과 평행 조 그리퍼에 초점을 맞추며, 집어서 옮기기, 쌓기, 정렬, 관절 객체 상호작용, 밀기, 따르기, 도구 사용 스타일 동작을 포함한 207개의 테이블탑 조작 태스크를 다룹니다.
AXIS 벤치마크는 정책 학습 및 스케일링 평가를 위해 어떻게 설계되었습니까? 벤치마크는 AXIS-25%, 50%, 100% 스냅샷을 사용한 정책 제품군 간 직접 비교 및 체내 스케일링 연구를 지원하며, LIBERO-Plus 견고성 스위트에서 7가지 교란 축으로 평가합니다.