DriftWorld는 드리프팅 기반의 행동 조건 세계 모델로, 단일 전방 패스로 고품질의 미래 프레임 예측을 생성할 수 있습니다. 이 단일 단계 동작 덕분에 기존의 다단계 확산 기반 세계 모델보다 훨씬 빠르게 롤아웃을 생성할 수 있습니다.
문제 정의
행동 조건 세계 모델은 드리프팅 목적 함수를 통해 학습되며, 현재 관찰과 행동이 주어졌을 때 미래 관찰을 예측하는 함수로 정의됩니다.
행동 조건 아키텍처
여러 미래 프레임을 한 번에 생성하기 위해 U-Net은 분해된 시공간 합성곱을 사용합니다. 즉, 공간 합성곱이 각 시간 단계에 독립적으로 동일하게 적용된 후, 시간 합성곱이 각 공간 위치에 독립적으로 동일하게 적용됩니다.
세계 모델링의 시각적 평가
네 가지 환경 모두에서 DriftWorld는 시각적 생성 품질 측면에서 행동 조건 세계 모델 기준선과 동등하거나 더 나은 성능을 보이면서, 추론 시간은 극히 일부만을 사용합니다.
Robomimic. 단일 뷰 및 이중 뷰 설정 모두에서 DriftWorld는 Ctrl-World 및 GPC 확산 세계 모델과 경쟁력 있는 성능을 달성하며, 훨씬 빠릅니다.
DriftWorld에서의 추론 시간 정책 개선
DriftWorld는 기존 확산 세계 모델보다 더 빠르고 효과적인 추론 시간 정책 개선을 가능하게 합니다. 우리는 사전 훈련된 정책을 가져와 DriftWorld에서 행동 제안을 롤아웃하고, 가장 좋은 미래 상태를 초래하는 행동을 선택함으로써 이 기능을 평가합니다.
특히 GPC-RANK 접근법을 사용합니다. 각 단계마다 기본 정책은 K개의 후보 행동 제안을 샘플링합니다. 각 제안은 세계 모델을 통해 상상 속에서 롤아웃됩니다. 그런 다음 보상 함수가 예측된 미래 관찰을 점수화하고, 가장 높은 보상을 받은 행동 청크가 실제 실행을 위해 선택됩니다.
정책 평가를 위한 오프라인 시뮬레이터로서의 DriftWorld
DriftWorld는 정책의 절대 성능과 상대적 순위를 모두 성공적으로 예측하는 정확한 오프라인 시뮬레이터 역할을 합니다. 우리는 Robomimic 및 Push-T 작업 모두에서 이 기능을 검증합니다.
Robomimic. Robomimic 작업에서 DriftWorld를 추가로 검증합니다. 이를 위해 실패 사례를 묘사하는 추가 비디오로 모델을 사후 훈련합니다. 세계 모델에서 9개의 확산 정책을 롤아웃하고 50개의 환경 초기화 시드에 대한 평균 성공률을 기록합니다. DriftWorld의 시뮬레이션 성공률은 실제 MuJoCo 시뮬레이터의 성공률과 매우 밀접하게 일치하며, 상관 계수는 각각 0.9916과 0.9250으로 기준선 Ctrl-World 모델보다 우수합니다.
논의
한계. 첫째, DriftWorld는 복잡한 장면에서 시각적 선명도를 유지하기 위해 강력한 사전 훈련된 특징 추출기(DINOv2/v3)에 의존합니다. 둘째, 드리프팅 프레임워크는 표준 확산보다 훈련 시 더 높은 메모리 사용량을 필요로 합니다. 드리프팅 손실을 계산하기 위해 모델이 전방 패스당 여러 개의 부정 샘플(예: 64개)을 생성해야 하기 때문입니다. 결과적으로, 부정 샘플당 컨텍스트 및 생성 프레임 수는 GPU VRAM에 의해 제한됩니다. 향후 연구 방향은 희소 기록 또는 시간 압축이 있는 비디오 VAE를 사용하여 장기 시간적 일관성을 개선하기 위해 컨텍스트 및 생성 창의 길이를 늘리는 것입니다.
결론. 우리는 빠르고 단일 단계의 행동 조건 세계 모델인 DriftWorld를 소개했습니다. 드리프팅 생성 모델을 조건부 비디오 생성에 적용하기 위해, 행동 조건 U-Net 아키텍처, 특징 공간 통합, 강조된 행동 따르기를 포함한 주요 적응을 제안했습니다. DriftWorld는 최첨단 확산 기준선보다 평균 17배 빠른 속도를 달성하며, 정확하고 시각적으로 일관된 롤아웃을 생성하여 추론 시간 행동 검색 및 신뢰할 수 있는 오프라인 정책 평가를 개선합니다.
Bridge-V2, RT-1 및 Language Table에서 생성된 비디오 비교
DriftWorld의 생성된 비디오는 Language Table, Bridge-V2 및 RT-1 데이터셋에서 실제와 매우 유사합니다.
DriftWorld의 정책 롤아웃 비교
DriftWorld의 정책 롤아웃은 실제 롤아웃과 매우 유사합니다.
단일 프레임 대 청크 수준 시뮬레이션
DriftWorld는 단일 전방 패스에서 단일 프레임 및 청크 수준 시뮬레이션을 모두 지원합니다. Push-T의 경우 4개의 미래 프레임을 생성하는 것이 가장 좋은 성능을 보입니다.
드리프팅 손실을 위한 모션 가중치
모션 가중치 기법은 복잡한 배경을 가진 실제 로봇 데이터셋에서 DriftWorld의 자기회귀 생성에 필수적입니다. 모션 가중치가 없으면 생성된 로봇 그리퍼는 대부분 정지 상태입니다. 모션 가중치를 적용하면 생성된 그리퍼가 행동에 따라 움직입니다.
DriftWorld에서 추론 시간 정책 개선을 위한 세부 사항
GPC-RANK를 통한 DriftWorld의 추론 시간 정책 개선에 대한 추가 세부 정보가 제공됩니다.
DriftWorld에서 정책 평가를 위한 세부 사항
평가된 정책. Push-T의 경우 에포크 50, 100부터 300까지의 확산 정책 체크포인트 6개와 더 오래 훈련된 에포크 650 체크포인트를 사용합니다. Robomimic Lift 작업의 경우 에포크 2, 4, 6부터 18까지의 확산 정책 체크포인트 9개를 사용합니다. Robomimic Can 작업의 경우 에포크 50, 100부터 400까지 및 에포크 75의 확산 정책 체크포인트 9개를 사용합니다.
실패 시연에 대한 사후 훈련. Robomimic Lift 및 Can 작업의 경우 DriftWorld와 기준선은 처음에 성공적인 시연만 포함된 다중 인간 데이터셋에서 훈련됩니다. 이러한 초기 모델은 정책 성공률에 대한 지나치게 낙관적인 추정을 제공하므로, 확산 정책의 초기 체크포인트를 롤아웃하여 생성된 많은 실패 시연이 포함된 데이터셋에서 모델을 사후 훈련합니다. 이 사후 훈련을 통해 모델이 실패를 정확하게 시뮬레이션할 수 있습니다.
자주 묻는 질문
DriftWorld는 확산 기반 세계 모델과 비교해 얼마나 빠릅니까? DriftWorld는 여러 번의 반복적 잡음 제거 단계 대신 단일 전방 패스로 미래 프레임을 생성함으로써 최첨단 확산 기준선보다 평균 17배 빠른 속도를 달성합니다.
DriftWorld의 아키텍처가 행동 조건 비디오 생성에 독특한 점은 무엇입니까? DriftWorld는 분해된 시공간 U-Net과 드리프팅 손실 함수, 특징 공간 통합 및 모션 가중치를 결합하여 단일 단계 조건부 비디오 생성을 가능하게 합니다.
DriftWorld를 오프라인 정책 평가에 사용할 수 있습니까? 네, DriftWorld는 정책의 절대 성능과 상대적 순위를 정확하게 예측하여 Robomimic 작업에서 실제 시뮬레이터와 각각 0.9916과 0.9250의 상관 계수를 달성합니다.
DriftWorld 접근법의 주요 한계는 무엇입니까? DriftWorld는 시각적 품질을 위해 강력한 사전 훈련된 특징 추출기가 필요하며, 전방 패스당 여러 개의 부정 샘플을 생성해야 하므로 훈련 시 메모리 사용량이 높습니다.