로보드림은 일반화 가능한 구현체 중심의 월드 모델로, 로봇 데이터 합성을 위한 도구입니다. 명시적인 장면 및 객체 사전 정보를 바탕으로 비디오 생성을 조건화하여, 특정 작업에 맞춘 미세 조정 없이 다양한 환경과 객체에 걸쳐 제어 가능한 시연 생성이 가능합니다. 검색 및 재탄생, 그리고 소품 없는 원격 조작이라는 두 가지 실용적 배포 방식은 실제 데이터 수집의 주요 병목을 해결합니다. 실험 결과, 로보드림은 정책 성능을 일관되게 향상시키고 실제 데이터 수집 부담을 줄여줍니다.
사전 정보 추출
로보드림을 훈련하기 위해, 기존 대규모 로봇 데이터셋에서 장면, 객체, 모션 임베딩을 일치시키는 훈련 쌍을 구성합니다. 이 자동화된 파이프라인은 수동 주석 없이 사전 정보를 추출합니다.
객체 식별. 첫 번째 프레임과 작업 지시가 주어지면, 시각-언어 모델(GPT-5-nano)을 사용하여 작업에 명시적으로 관련된 객체를 식별합니다. 모델은 "빨간 컵", "파란 스펀지"와 같은 객체 이름 목록을 반환하며, 테이블이나 벽과 같은 배경 요소는 필터링합니다.
장면 사전 정보 구성. 첫 번째 프레임에서 분할된 작업 관련 객체를 제거하여 장면 사전 정보를 생성합니다. 확산 기반 인페인팅 모델인 OmniPaint를 사용하여 객체 제거로 생긴 빈 공간을 채워 작업 공간의 깨끗한 배경 이미지를 얻습니다.
실험 설정
DROID 플랫폼과 일치하는 Franka Panda 로봇 설정으로 실험을 수행했습니다. 각 작업은 정밀한 객체 조작을 포함합니다. 작업 완료 여부에 따라 성공을 평가하며, 집어 옮기기 작업의 경우 부분 성공(예: 잡기 성공但 배치 실패)을 절반 점수로 처리합니다. 모든 실제 환경 평가는 정책당 20회 롤아웃으로 진행했습니다.
생성 데이터로 확장
데이터 엔진의 확장 특성을 추가로 연구했습니다. 실제 데이터셋을 50회 시연으로 고정하고, 혼합하는 생성 시연의 수를 점진적으로 늘렸습니다. 생성 데이터는 대상 설정에서 재탄생된 검색된 DROID 궤적으로 구성됩니다. 표 III은 생성 데이터가 100회에서 최대 400회 에피소드로 확장됨에 따른 성공률을 보고합니다.
생성 데이터를 추가하면 Real-50 기준선보다 성능이 일관되게 향상됨을 관찰했습니다. 성능 향상은 Mix-200 부근에서 포화되는 것으로 보입니다. 이는 로보드림이 확장 가능한 데이터 소스를 제공하지만, 검색된 궤적(DROID)의 다양성 또는 생성의 도메인 격차가 추가 샘플의 한계 이익을 결국 제한함을 시사합니다. 그럼에도 불구하고, 추가 실제 데이터 수집 없이 정책 성능을 크게 향상시킬 수 있는 능력은 데이터 엔진의 효용을 보여줍니다.
구성적 생성
마지막으로, 구성적 생성을 통한 모델의 제로샷 일반화 능력을 조사합니다. 로보드림은 조작의 구성 요소를 효과적으로 분리하여, 제로샷 방식으로 다양한 시연을 생성하기 위해 재조합할 수 있습니다.
한계점
로보드림은 렌더링된 로봇 전용 비디오가 대상 장면에서 로봇이 따라야 할 운동학적 궤적을 충실히 포착한다고 가정합니다. 생성 품질은 훈련 분포의 범위에 의존하지만, 인간 비디오를 포함한 광범위한 데이터로 훈련을 확장함으로써 해결될 수 있다고 믿습니다. 인간을 구현체로 취급하고 생성을 인간 움직임에 기반함으로써, 우리의 프레임워크는 인터넷 규모의 인간 데이터를 활용하여 강건성을 향상시킬 수 있습니다. 또한, 모델은 기반 비디오 확산 백본의 시간 길이 및 해상도 제한을 상속받습니다. 이러한 제한은 기본 비디오 생성 모델이 계속 개선됨에 따라 줄어들 것으로 기대합니다.
결론
로보드림, 일반화 가능한 구현체 중심의 로봇 데이터 합성 월드 모델을 제시했습니다. 명시적인 장면 및 객체 사전 정보로 비디오 생성을 조건화함으로써, 특정 작업 미세 조정 없이 다양한 환경과 객체에 걸쳐 제어 가능한 시연 생성이 가능합니다. 검색 및 재탄생과 소품 없는 원격 조작이라는 두 가지 실용적 배포 방식은 실제 데이터 수집의 주요 병목을 해결합니다. 실험 결과 로보드림은 정책 성능을 일관되게 향상시키고 실제 데이터 수집 부담을 줄입니다. 이 작업이 대규모 원격 조작 노력이나 작업별 시뮬레이션 설정 없이 확장 가능한 모방 학습을 위한 실용적 경로를 제공한다고 믿습니다.
감사의 글
Jiawei Yang, Mingtong Zhang, Weiduo Yuan의 유익한 논의와 Abrar Anwar, Jesse Thomason의 로봇 하드웨어 지원에 감사드립니다. USC 물리적 초지능 연구소는 Toyota Research Institute, Dolby, Google DeepMind, Capital One, Nvidia, Bosch, NSF, Qualcomm의 관대한 지원을 받습니다. Junjie Ye는 Capital One Fellowship의 지원을 받습니다. Yue Wang은 Powell Research Award의 지원을 받습니다.
자주 묻는 질문
로보드림의 핵심 혁신은 무엇인가요? 로보드림은 명시적인 장면 및 객체 사전 정보로 비디오 생성을 조건화하여, 특정 작업 미세 조정 없이 제어 가능한 로봇 시연 합성을 가능하게 하는 구현체 중심의 월드 모델입니다.
로보드림은 기존 데이터에서 사전 정보를 어떻게 추출하나요? 시각-언어 모델(GPT-5-nano)을 사용하여 첫 번째 프레임에서 작업 관련 객체를 식별하고, OmniPaint를 사용하여 배경을 인페인팅하여 깨끗한 장면 사전 정보를 생성합니다.
로보드림의 성능을 검증한 실험은 무엇인가요? Franka Panda 로봇으로 네 가지 실제 조작 작업을 테스트하여 정책당 20회 롤아웃으로 성공률을 측정했으며, 생성 데이터를 실제 시연과 혼합할 때 일관된 성능 향상을 보였습니다.
로보드림의 주요 한계는 무엇인가요? 모델은 렌더링된 로봇 전용 비디오가 운동학적 궤적을 충실히 포착한다고 가정하며, 훈련 분포 범위에 의존하고, 비디오 확산 백본의 시간 길이/해상도 제약을 상속받습니다.