단일 비디오 월드 모델, 로봇 렌더링으로 다양한 로봇 구현체 전반을 예측

단일 비디오 월드 모델, 로봇 렌더링으로 다양한 로봇 구현체 전반을 예측

Yash Jangir, Karan Mirakhor, Renos Zabounidis, Muhammad Zubair Irshad, Sergey Zakharov +2개 더

6 분 읽기•2026년 11월 19일

핵심 아이디어는 로봇이 의도한 움직임을 명시적으로 제공해 비디오 모델이 환경에 미치는 영향을 예측하는 데 집중하게 하는 것입니다. 먼저 로봇 베이스를 기준으로 한 카메라 포즈를 복원합니다. 그런 다음 제공된 구성 궤적을 따라 로봇을 해당 시점에서 렌더링합니다. Doppel은 렌더링 강화 액션 조건화 어댑터를 사용해 이러한 렌더링과 수치 관절 및 그리퍼 궤적을 결합합니다. 렌더링은 로봇이 이미지에서 어디로 움직이는지 보여주고, 수치 입력은 화면에서 파악하기 어려울 수 있는 구성 정보를 보존합니다. 이 표현은 다양한 로봇 구현체에 걸쳐 공유되는 단일 이미지-비디오 모델인 Doppel을 조건화합니다.

Doppel

Doppel은 기록된 관측과 동일한 시점에서 촬영한 로봇 렌더링이 필요합니다. 하지만 원본 데이터셋에는 카메라 외부 파라미터가 누락되거나 일관되지 않은 경우가 있습니다. RGB, 광학 흐름, DINOv2 특징을 사용해 렌더링된 로봇 궤적을 기록된 비디오에 정렬하도록 카메라-로봇 변환의 여섯 자유도를 최적화해 이를 복원합니다. 로봇 렌더러는 고정된 상태로 두고, 분석-합성 접근법을 사용해 카메라 포즈만 최적화합니다.

렌더링 강화 밀집 액션 표현

로봇 렌더링과 수치 액션을 결합해 비디오 토큰마다 조건화 벡터 하나를 생성합니다. 렌더링은 이미지 공간에서 로봇의 움직임을 나타내고, 수치 액션은 가려져 있거나 단일 시점에서 모호하게 보이는 관절 및 그리퍼 정보를 제공합니다.

렌더링 강화 액션 조건화의 아키텍처

논의, 한계 및 결론

이 방법으로 렌더링을 생성하려면 정확한 로봇 형상, URDF, 카메라 보정이 필요합니다. 오프라인 데이터셋에서는 누락된 외부 파라미터를 복원할 수 있지만, 시점을 알 수 없거나 빠르게 변하는 경우는 여전히 한계로 남습니다. 카메라 인식형 또는 카메라 불변 표현을 사용하면 이러한 의존성을 줄일 수 있습니다.

또한 이 방법은 구성 궤적을 조건으로 사용합니다. 부정확한 형상이나 더 낮은 수준의 제어 명령을 처리하려면 로봇의 움직임과 실행에 대한 불확실성을 모델링해야 합니다. 평가는 학습 중에 관측한 로봇 구현체와 궤적당 카메라 하나를 대상으로 합니다. 학습 중 보지 못한 로봇 구현체로의 전이, 다중 시점 예측, 더 긴 예측 구간은 향후 연구 과제로 남아 있습니다. 사전 학습된 비디오 모델과 학습된 3D 표현을 결합하면 픽셀 수준의 명시적 정렬이 필요한 정도를 더 줄일 수 있습니다.

웹사이트 및 비디오

프로젝트 웹페이지에서 추가 정성적 결과를 확인할 수 있습니다. 여기에는 여덟 개 데이터셋 전체의 확장된 비디오 비교, 장기 롤아웃, 궤적 및 환경 일반화 사례, 기준 모델과의 나란한 비교가 포함됩니다. 저자들은 정적인 논문 그림만으로는 전체 비디오 결과를 충분히 보여주기 어렵다며, 독자들에게 웹페이지에서 결과를 확인할 것을 권합니다.

렌더링 파이프라인

관절형 가우시안 로봇 모델과 대상 카메라 보정을 사용해 제공된 관절 및 그리퍼 궤적을 따라 로봇을 렌더링합니다. 월드 모델 학습 중에는 렌더러를 고정합니다. RGB 관측, 로봇 구성, 렌더링 프레임은 동일하게 샘플링한 원본 프레임 인덱스를 사용해 생성하므로 모든 조건화 신호의 시간 정렬이 보장됩니다. 학습 윈도우를 구성할 때도 캐시된 렌더링이 동일한 시간 샘플링 그리드에 해당하는지 확인합니다.

로봇만 렌더링한 결과는 로봇 구현체의 형상과 움직임을 이미지 좌표에 직접 담으며, 미래 장면이나 물체에 대한 정보는 포함하지 않습니다. 세 데이터셋에서 렌더링된 로봇 궤적과 해당 RGB 관측 간의 대표적인 정렬 결과를 보여줍니다.

각 로봇 구현체에는 미분 가능한 로봇 렌더링 프레임워크를 사용합니다. 로봇의 URDF에서 시작해 원래 렌더러 아키텍처와 학습 절차를 사용하여 관절형 가우시안 모델을 학습합니다. 각 로봇 구현체마다 별도의 렌더러를 학습하고, Doppel 학습 중에는 해당 렌더러의 매개변수를 고정합니다.

ABC의 양팔 YAM 암은 YAM용으로 같은 방식으로 학습한 DrRobot 모델을 사용해 렌더링합니다. T-Rex의 Vega-1 휴머노이드와 Sharpa 핸드는 데이터셋에서 공개한 헤드 카메라 보정을 사용해 로봇의 URDF 메시로 렌더링합니다. 사람은 적합시킨 신체 및 손 메시로 렌더링합니다. 여기에는 GigaHands의 MANO 손, OakInk2의 SMPL-X, Ego-Exo4D의 SMPL-H가 포함되며, Maddukuri와 Pavlakos의 메시를 사용합니다. 각 메시는 렌즈 왜곡을 포함한 데이터셋 카메라 모델을 통해 래스터화합니다. 모든 렌더링은 검은색 배경을 사용하며 로봇 구현체만 포함합니다.

기록된 관측에 정렬된 로봇 궤적 렌더링

어댑터 아키텍처 세부 사항

렌더링-액션 어댑터에는 약 [제공된 텍스트에 매개변수 수가 명시되어 있지 않음]개의 매개변수가 있으며, 모든 로봇 구현체에서 공유됩니다.

로봇만 렌더링한 결과는 희소하며, 대부분의 공간 위치가 빈 배경입니다. 먼저 렌더링 시퀀스를 Wan 2.1의 동일한 고정 인과 VAE로 인코딩합니다. 학습 가능한 렌더 인코더를 적용하기 전에 샘플별·채널별 시공간 평균을 뺍니다.

이렇게 하면 빈 배경 때문에 렌더 토큰끼리 지나치게 유사해지는 것을 방지할 수 있습니다. 평균을 빼지 않으면 어댑터 가중치가 0으로 수렴할 수 있습니다. 로봇 신호가 빈 렌더링 배경의 공유 잠재 응답보다 작을 수 있으므로, 이 연산은 [제공된 텍스트에 표현 또는 공간이 명시되어 있지 않음]에서 계산합니다.

기준 모델 재구현

액션만 사용하는 기준 모델은 EgoWM의 조건화 방식을 따릅니다. Doppel과 동일한 Wan 2.1 이미지-비디오 백본에서 렌더링 인코더와 렌더링-액션 융합 모듈을 모두 제거합니다. 각 시점의 수치 로봇 구성은 Doppel과 동일한 로봇 구현체별 통계로 정규화하고, MLP와 1D 시간 합성곱을 차례로 적용해 투영한 다음 백본의 시점 변조 경로를 통해 주입합니다. 따라서 기준 모델은 Doppel과 동일한 수치 로봇 궤적을 입력받지만 카메라에 정렬된 로봇 렌더링은 받지 않습니다.

백본 초기화, 학습 클립, 클립 구성, 최적화 일정, 조건화 드롭아웃, 학습 예산을 포함한 나머지 구성 요소는 해당 Doppel 설정과 동일하게 유지합니다. 모든 모델은 정확히 동일한 검증 및 테스트 분할에서 평가합니다. 단일 로봇 구현체의 전체 학습 절차는 논문에서 참조하지만, 해당 표의 데이터는 제공된 텍스트에 포함되어 있지 않습니다. 따라서 이 기준 모델은 수치 액션만 사용하는 조건화 방식과 Doppel의 조건화 방식을 통제된 방식으로 비교합니다.

평가 지표

생성된 비디오는 [제공된 텍스트에 해상도가 명시되어 있지 않음]에서 기준 비디오와 비교해 평가합니다. 모든 지표에서 조건화 프레임은 제외하며, 예측된 열여섯 프레임에 대해 계산합니다. 별도 언급이 없으면 먼저 각 클립 내에서 시간에 따른 점수를 평균한 다음, 모든 클립에 동일한 가중치를 부여해 평균합니다. 정의되지 않은 점수는 제외합니다.

보고된 지표는 피크 신호 대 잡음비(PSNR), 구조적 유사도(SSIM), 학습된 지각적 이미지 패치 유사도(LPIPS)입니다. PSNR은 픽셀 수준의 재구성 충실도를 측정하고, SSIM은 휘도, 대비, 구조의 국소적 일치도를 측정하며, LPIPS는 사전 학습된 AlexNet 특징을 사용해 지각적 차이를 측정합니다. 각 지표는 예측된 각 프레임에 대해 독립적으로 계산한 후 예측 구간 전체에서 평균합니다. PSNR과 SSIM은 높을수록 좋고, LPIPS는 낮을수록 좋습니다.

결과

모든 실험에 대한 추가 정성적 결과가 제공됩니다. 논문에는 Doppel과 기준 모델을 비교하는 궤적 일반화 사례도 포함되어 있습니다.

자주 묻는 질문

Doppel은 로봇 움직임을 이용해 비디오 생성을 어떻게 조건화하나요? 로봇 렌더링과 수치 관절 및 그리퍼 궤적을 결합해 비디오 토큰용 조건화 벡터를 생성합니다.

Doppel은 왜 렌더링과 수치 액션을 모두 사용하나요? 렌더링은 이미지 공간에서 로봇의 움직임을 보여주고, 수치 액션은 단일 시점에서 가려지거나 모호할 수 있는 관절 및 그리퍼 정보를 보존합니다.

렌더링 파이프라인에는 무엇이 필요한가요? 로봇 형상, URDF, 카메라 보정이 필요합니다. 각 로봇 구현체마다 별도의 관절형 가우시안 렌더러를 학습하며, Doppel 학습 중에는 고정합니다.

어떤 한계가 남아 있나요? 이 방법은 정확한 형상과 보정에 의존하며, 평가는 학습 중에 관측한 로봇 구현체와 궤적당 카메라 하나를 대상으로 합니다. 학습 중 보지 못한 로봇 구현체로의 전이, 다중 시점 예측, 더 긴 예측 구간은 향후 연구 과제로 남아 있습니다.