본 논문에서는 고품질의 가상 롤아웃을 통해 효율적인 정책 평가, 개선 및 테스트 시점 계획을 가능하게 하는 대규모 생성적 세계 모델인 WEAVER를 제안합니다. WEAVER는 여러 조작 작업에서 이전 접근법보다 우수한 성능을 보이며, 더 길고 정확한 예측을 더 빠른 추론 속도로 생성합니다.
결과
먼저 WEAVER 세계 모델의 단독 성능을 살펴본 후, 정책 평가, 개선 및 테스트 시점 계획이라는 다운스트림 사용 사례에서의 성능을 분석합니다.
결론
넓은 영향. 이 연구는 대규모 세계 모델을 통해 비용이 많이 드는 실제 상호작용의 의존도를 줄임으로써 로봇 조작의 효율성, 안전성 및 확장성을 향상시키고자 합니다. 가상 롤아웃은 실행 전 정책 평가, 개선 및 테스트 시점 계획을 지원할 수 있지만, 부정확하거나 편향된 예측은 특히 보조 로봇과 같은 안전이 중요한 분야에서 위험한 결정을 초래할 수 있습니다. 따라서 책임 있는 배포를 위해서는 신중한 검증, 불확실성 추정, 그리고 학습된 세계 또는 보상 모델의 오류 악용에 대한 방어 장치가 필요합니다.
작업 세부 사항
PnP Bag 작업에서는 로봇이 감자칩 봉지를 들어 올려 녹색 접시 위에 놓아야 합니다. 두 종류의 칩 봉지를 사용하며, 각 에피소드마다 무작위로 하나를 선택합니다. 봉지는 변형 가능하므로 잡기 결과와 물체 움직임을 예측하기 어렵습니다.
PnP Marker 작업에서는 로봇이 테이블 위에 수평으로 놓인 Expo 마커를 들어 용기 안에 넣어야 합니다. 마커 색상은 검은색과 주황색 중 무작위로 선택되며, 대상 용기는 종이컵과 파란 머그 중 무작위로 선택됩니다. 이 작업은 정밀한 파지와 마커를 수직으로 삽입하기 위한 큰 엔드 이펙터 재배치가 필요합니다.
PnP Towel 작업에서는 로봇이 수건을 들어 바구니에 넣어야 합니다. 두 가지 수건 변형(접힌 두꺼운 빨간 주방 수건과 얇은 회색 정사각형 수건)과 두 가지 바구니 변형(주황색과 파란색)을 사용합니다. 수건이 변형 가능하고, 결과 모양이 잡는 위치와 접힌 수건의 경우 잡는 층 수에 크게 의존하기 때문에 이 작업은 어렵습니다.
Pour Beans 작업에서는 로봇이 커피 원두가 담긴 컵을 들어 파란 그릇에 부어야 합니다. 이 작업은 동적 조작을 테스트하며, 원두의 입자 운동을 예측하기 어렵고 성공적인 실행을 위해서는 컵 자세, 따르는 각도 및 움직임을 정밀하게 제어하여 그릇 밖으로 흘리지 않아야 합니다.
행동 공간
정책 평가의 경우, 각 궤적의 끝점 관절 위치가 이미 제공되므로 직접 관절 위치를 세계 모델의 입력으로 사용합니다. 그러나 테스트 시점 계획에서는 정책이 제안하는 관절 속도 명령으로부터 예측을 생성해야 합니다. 따라서 훈련된 행동 어댑터를 사용하여 해당 관절 위치를 예측하고, 이 적응된 행동을 기반으로 세계 모델 생성을 조건화합니다.
행동 어댑터는 세계 모델의 행동 표현(관절 속도 명령 및 이진 그리퍼 신호)과 로봇의 관찰 가능한 상태(절대 관절 위치 및 그리퍼 폭) 간의 차이를 연결하는 경량 피드포워드 모듈입니다. 로봇의 현재 상태와 세계 모델이 생성한 최대 10개 행동 청크를 입력으로 받아, 결과 관절 위치 및 그리퍼 위치 델타 시퀀스를 예측하며, 이를 적분하여 미래의 절대 상태를 얻습니다.
부분 관측 가능성
우리의 세계 모델은 주로 시각적 관찰에 의존하며, 이는 기본 물리적 상태에 대한 부분적인 접근만을 제공합니다. 조작 중에는 물체 접촉, 파지 안정성, 가해진 힘, 가려진 물체 형상과 같은 작업 관련 정보가 사용 가능한 모든 카메라 뷰에서 숨겨질 수 있습니다. 이러한 한계는 특히 시점이 계속 변하는 손목 카메라 관찰이나 물체가 시야를 벗어나거나 그리퍼에 의해 가려질 수 있는 복잡한 장면에서 두드러집니다. 메모리 및 다중 뷰 조건화가 이 문제를 완화하지만, 순수 시각적 예측은 이미지 이력만으로 누락된 상태를 추론할 수 없는 경우 실패할 수 있습니다. 촉각 피드백, 힘-토크 센싱, 깊이와 같은 추가 감각 양식을 통합하면 폐색 상황에서 상태 추정과 장기 예측이 개선될 수 있습니다.
복잡한 변형 및 동적 상호작용
변형 가능한 물체 조작과 동적 조작은 학습된 세계 모델에게 여전히 도전적인 과제입니다. 수건, 봉지, 입자 물질과 같은 물체는 고차원적이고 이력에 의존하는 동역학을 가지며, 제한된 로봇 데이터로 포착하기 어렵습니다. 예측된 접촉, 파지 위치 또는 물체 구성의 작은 오류는 시간이 지남에 따라 누적되어 질적으로 잘못된 롤아웃을 초래할 수 있습니다. 이는 특히 컵 자세, 속도 및 용기와의 접촉에 민감하게 의존하는 입자 물질의 운동을 포함하는 따르기 작업에서 두드러집니다. 향후 연구는 물리적 사전 지식, 하이브리드 신경-물리 모델, 또는 변형 및 입자 동역학에 특화된 신경 시뮬레이터를 통합하여 예측 충실도를 향상시킬 수 있습니다.
테스트 시점의 제한된 계획 수평선
추론 가속 전략 덕분에 대규모 생성적 세계 모델을 사용한 테스트 시점 계획이 가능해졌지만, 지연 시간으로 인해 온라인 계획은 단일 행동 청크로 제한됩니다. 결과적으로 계획자는 단기 행동 선택을 개선할 수 있지만, 아직 장기적 예측은 수행할 수 없습니다. 이는 지연된 결과나 다단계 복구 행동에 대한 추론 능력을 제한합니다. 샘플링 효율성, 모델 증류, 가치 추정 또는 계층적 계획의 추가 개선을 통해 실시간 제어를 유지하면서 더 긴 수평선의 온라인 추론이 가능해질 수 있습니다.
데이터 범위와 로봇 다양성
우리의 세계 모델은 주로 DROID 데이터로 사전 훈련되었으며, 이는 대규모 로봇 상호작용 데이터를 제공하지만 여전히 특정 로봇 형태와 데이터 수집 설정에 국한됩니다. 이는 상당히 다른 로봇, 카메라 구성, 엔드 이펙터로의 일반화를 제한할 수 있습니다. 또한 평가에 사용된 입자 물질 따르기와 같은 일부 작업 동역학은 사전 훈련 데이터에 충분히 포함되지 않았습니다. 다양한 소스(교차-로봇 데이터셋, 시뮬레이션 데이터, 인간 비디오 포함)로 세계 모델 훈련을 확장하면 견고성을 향상시키고 정확하게 상상할 수 있는 행동의 범위를 넓힐 수 있습니다.
자주 묻는 질문
WEAVER가 다른 조작 세계 모델과 다른 점은 무엇인가요? WEAVER는 이전 접근법보다 더 길고 정확한 가상 롤아웃을 달성하면서도 더 빠른 추론 속도를 유지하여, 온라인 테스트 시점 계획에 실용적입니다.
WEAVER를 평가하는 데 사용된 조작 작업은 무엇인가요? 평가에는 변형 가능한 물체(봉지, 수건, 마커)의 잡고 옮기기 작업과 동적 조작(커피 원두와 같은 입자 물질 따르기)이 포함됩니다.
현재 WEAVER 모델의 주요 한계는 무엇인가요? 주요 한계로는 시각적 입력으로 인한 부분 관측 가능성, 복잡한 변형 동역학 처리의 어려움, 테스트 시점의 제한된 계획 수평선, 훈련 데이터의 제한된 로봇 다양성 등이 있습니다.
WEAVER는 속도 명령과 관절 위치 입력 간의 차이를 어떻게 처리하나요? 경량 행동 어댑터 모듈이 속도 명령으로부터 관절 위치 델타를 예측하여, 세계 모델 조건화를 위한 행동 표현 차이를 연결합니다.