DexVerse는 다양한 작업과 로봇 형태를 지원하도록 설계된 모듈식 손재주 조작 벤치마크입니다. 다양한 작업 범주, 여러 암-손 형태, 구성 가능한 시각적 변화, VR 기반 원격 조작, 다중 모드 시연, 대표적인 정책 평가를 통합합니다. 이 벤치마크는 접촉이 많은 손재주 제어, 시각-운동 견고성, 형태 인식 로봇 학습을 연구하기 위한 도전적이고 확장 가능한 시험대를 제공합니다.
모듈식 환경 설계
DexVerse는 구성 기반 설계를 사용하여 조작 환경을 지정하고 인스턴스화합니다. 각 환경은 장면 레이아웃, 객체 자산, 로봇 형태, 관찰 및 행동 인터페이스, 초기화 규칙, 성공 조건, 무작위화 설정을 포함한 일련의 구조화된 구성 요소로 정의됩니다. 동일한 패밀리 내의 작업은 자산 로딩, 상태 초기화, 재설정 이벤트, 성공 확인과 같은 공통 논리를 위해 재사용 가능한 템플릿을 공유하는 반면, 작업별 매개변수는 조작된 객체, 목표 상태, 샘플링 범위, 완료 임계값을 정의합니다. 이 설계는 관련 환경 간의 중복 구현을 줄이고 작업 변형을 더 쉽게 구성하고 유지 관리할 수 있게 합니다.
DexVerse는 Isaac Lab의 관리자 기반 환경 인터페이스를 기반으로 합니다. 여기서 관찰, 행동, 이벤트, 종료, 선택적 보상 항목은 구성 클래스를 통해 지정되고 공유 시뮬레이션 루프에 의해 실행됩니다. 대부분의 환경 매개변수는 구성 재정의를 통해 조정할 수 있어 핵심 환경 코드를 수정하지 않고 초기화 범위, 카메라 설정, 무작위화 옵션 또는 성공 임계값을 제어할 수 있습니다. DexVerse는 또한 로봇 형태에 대해 암-손 조합을 선택하기 위한 간결한 사양을 제공하여 실행 가능한 형태 변형의 인스턴스화를 단순화합니다.
로봇 형태
DexVerse는 각 로봇 형태를 로봇 구성(configuration)을 통해 지정합니다. 이 구성은 암(arm)과 손(hand) 모델, 초기 자세, 행동 인터페이스, 컨트롤러 매개변수, 형태별 상수를 정의합니다. 로봇이 필요한 인터페이스를 구현하기만 하면 작업별 환경 로직을 다시 작성하지 않고도 작업에 인스턴스화할 수 있습니다. 물리적으로 실현 가능한 작업-형태 조합의 경우 사용자는 기본 로봇 선택을 재정의할 수 있습니다(예: 단일 암 설정을 양팔 설정으로 대체하거나 다른 암-손 쌍으로 전환).
현재 벤치마크는 3개의 로봇 암(Franka Research 3, UR10e, xArm 7)과 6개의 손재주 손(Sharpa Wave, WUJI Hand, Shadow Hand, Inspire Hand, Allegro Hand, LEAP Hand)을 지원하며, 다양한 운동학, 자유도, 관절 제한, 구동 범위, 손 형태를 포괄합니다. 각 손은 손목이 프리즘 및 회전 관절로 직접 제어되는 부동 변형도 제공합니다.
시각적 변화
DexVerse는 환경 사양의 일부로 구성 가능한 시각적 변화를 제공합니다. 각 환경은 시각적 무작위화가 비활성화된 경우 고정된 기본 외관을 사용합니다. 활성화되면 시각적 속성은 재설정 시 사전 정의된 라이브러리(객체 재질, 테이블 재질, 조명 조건, 배경 스카이박스, 노출, 색온도 설정)에서 샘플링됩니다. DexVerse는 또한 카메라 시점 변경을 지원하여 작업 목표와 성공 조건을 유지하면서 동일한 작업이 다른 관찰 조건에서 나타나도록 합니다.
시각적 변화 외에도 DexVerse는 객체 초기 자세, 작업 샘플링 범위, 고유 수용 및 객체 상태 교란, 동역학 매개변수를 포함한 비시각적 변화도 지원합니다. 시각적 및 비시각적 변화는 독립적으로 또는 함께 활성화할 수 있어 외관 변화를 명시적으로 만들면서 조작 작업에 대한 표준 환경 변동성을 보존합니다.
데이터셋 및 평가
파이프라인은 새로운 암-손 플랫폼에 적응할 때 형태별 변경을 줄이도록 설계되었습니다. 새로운 로봇 암을 추가하려면 일반적으로 엔드 이펙터 프레임, 초기 자세, 저수준 컨트롤러 매개변수를 업데이트해야 하는 반면, 손재주 손을 추가하려면 필요한 키포인트, 대응 링크, 리타겟팅 스케일이 포함된 손 URDF를 구성해야 합니다.
데이터셋 통계. DexVerse는 대부분의 작업 제품군에 대해 원격 조작 시연을 제공합니다. 56개의 단일 목표 작업 각각에 대해 55개의 시연을 수집합니다(Shadow Hand 50개, 다른 5개 손 형태 각각 1개). 5개의 장기적 작업 각각에 대해 20개의 시연을 수집합니다. 총 3,180개의 시연 궤적이 생성됩니다.
각 시연은 원격 조작 중에 기록된 행동-상태 쌍의 시퀀스로 저장됩니다. 기록된 시뮬레이터 상태를 복원하고 환경을 로컬에서 쿼리하여 요청된 관찰 항목을 재생성하는 재생 유틸리티를 제공합니다. 이 설계는 물리 시뮬레이션이 머신 간에 물리 계산, 하드웨어, 부동 소수점 반올림의 차이로 인해 달라질 수 있기 때문에 중요합니다. 직접 상태 재생은 누적 롤아웃 드리프트를 피하고 시연을 로컬 설정에서 더 이식 가능하게 만듭니다.
행동-상태 형식은 데이터셋을 컴팩트하게 유지합니다. 재생 메커니즘은 또한 시연 데이터셋의 별도 복사본 없이 관찰 프리셋 수정, 관찰 항목 추가, 카메라 기반 입력 변경을 더 유연하게 만듭니다.
다중 목표 복합 작업
다음 두 조건이 동시에 충족되면 환경이 성공으로 표시됩니다.
- 애드온 객체가 원래 어떤 애드온 작업에서 왔는지와 관계없이 재설정 높이보다 지정된 임계값 이상 들어 올려집니다.
- 기본 작업의 관절형 조인트도 자체 단일 작업 성공 임계값 작업별 임계값에 도달합니다.
기본 객체가 머그인 경우에도 동일한 들기-따르기 절차가 적용됩니다. 작업이 성공으로 간주되려면 두 조건이 동시에 충족되어야 합니다. 들기 임계값은 39개 변형 모두에서 공유되는 단일 고정값인 반면, 작업별 임계값은 각 기본 작업의 자체 독립 임계값과 일치합니다.
관찰 모드 프리셋
사용자는 사용할 관찰 그룹을 자유롭게 선택할 수 있지만, DexVerse는 각각 고정된 그룹 집합을 활성화하고 다른 모든 관리 그룹을 비활성화하는 몇 가지 관찰 모드 프리셋도 정의합니다. 프리셋은 구성 필드를 통해 환경의 ObservationsCfg에 적용됩니다. 특권(privileged) 그룹은 현실 세계에서 거의 관찰할 수 없는 정보를 포함하므로 어떤 프리셋으로도 활성화되지 않으며 사용자가 의도적으로 활성화해야 합니다.
결론
우리는 다양한 작업 범주, 여러 암-손 형태, 구성 가능한 시각적 변화, VR 기반 원격 조작, 다중 모드 시연, 대표적인 정책 평가를 통합하는 모듈식 손재주 조작 벤치마크인 DexVerse를 제시했습니다. 실험 결과 현재의 모방 학습 및 비전-언어-행동 정책은 특히 정밀 접촉, 양손 협응, 기능적 도구 사용, 복잡한 객체와의 견고한 상호작용에서 일반적인 손재주 조작을 해결하는 데 아직 멀었음을 보여줍니다. 이러한 발견은 DexVerse를 접촉이 많은 손재주 제어, 시각-운동 견고성, 형태 인식 로봇 학습을 연구하기 위한 도전적이고 확장 가능한 시험대로 확립합니다.
한계 및 향후 작업. 현재 릴리스는 광범위하고 재현 가능하며 다중 작업, 다중 형태 벤치마크를 구축하는 데 중점을 둡니다. 향후 확장은 실제 로봇 전이를 연구하고, 더 많은 형태와 작업 패밀리에 걸쳐 시연을 확장하며, 교차 작업 및 교차 형태 평가를 위한 더 넓은 표준화를 제공할 것입니다. 이러한 방향은 DexVerse가 일반적이고 견고하며 전이 가능한 손재주 조작 정책을 개발하기 위한 기반으로서 더욱 강화될 것입니다.
자주 묻는 질문
DexVerse는 어떤 로봇 암과 손을 지원하나요? DexVerse는 3개의 로봇 암(Franka Research 3, UR10e, xArm 7)과 6개의 손재주 손(Sharpa Wave, WUJI Hand, Shadow Hand, Inspire Hand, Allegro Hand, LEAP Hand)을 지원하며, 각 손은 부동 변형도 제공합니다.
벤치마크에 포함된 시연 궤적은 몇 개인가요? 데이터셋에는 총 3,180개의 시연 궤적이 포함되어 있습니다. 단일 목표 작업당 55개(Shadow Hand 50개, 다른 손당 1개), 장기적 작업당 20개입니다.
시뮬레이션 드리프트를 방지하기 위해 시연은 어떻게 저장되나요? 각 시연은 행동-상태 쌍의 시퀀스로 저장되며, 재생 유틸리티가 기록된 시뮬레이터 상태를 복원하여 관찰 항목을 로컬에서 재생성하므로 다른 머신에서의 누적 롤아웃 드리프트를 방지합니다.
어떤 시각적 무작위화 옵션이 있나요? DexVerse는 객체 재질, 테이블 재질, 조명 조건, 배경 스카이박스, 노출, 색온도 설정, 카메라 시점 변경을 지원하며, 비시각적 변화와 독립적으로 또는 함께 조정할 수 있습니다.