난양공과대학교 연구진이 로봇 조작 작업을 위한 미래 비디오 프레임을 생성하는 월드 모델 DVG-WM을 개발했습니다. 이 모델은 빠른 저해상도 동역학 모델과 가벼운 개선 단계로 구성된 두 단계 접근법을 사용합니다. 이 설계는 기존 비디오 기반 월드 모델에 비해 계획 시간을 10배 가까이 줄여, 실시간 비디오 예측을 실제 로봇에 적용하는 데 한 걸음 더 가까워졌습니다.
목차
연구진이 만든 것
DVG-WM(Disentangled Video Generation World Model)은 현재 카메라 이미지와 로봇의 동작 명령이 주어졌을 때, 로봇 팔이 조작 작업에서 다음에 무엇을 볼지 예측하는 신경망입니다. 매 단계마다 처음부터 전체 해상도 프레임을 생성하는 기존 비디오 예측 모델과 달리(이는 수십 번의 고가의 노이즈 제거 과정을 필요로 함), DVG-WM은 작업을 두 개의 전문화된 모듈로 나눕니다.
첫 번째 모듈은 저해상도 비디오 프레임에서 작동하여 장면의 물리적 동역학을 모델링합니다. 즉, 물체가 어디로 움직이는지, 그리퍼가 어떻게 회전하는지, 어떤 충돌이 발생하는지 등을 다룹니다. 50번의 노이즈 제거 단계를 수행하지만, 해상도를 크게 줄인 상태(예: 256×144 대신 64×36)에서 실행되어 매우 빠릅니다. 두 번째 모듈은 이러한 대략적인 동역학 예측을 가져와 단 4번의 추가 노이즈 제거 단계만으로 선명한 고해상도 이미지로 '개선'합니다. 시각적 세부 사항과 물리적 동역학이 분리되어 있기 때문에, 각각을 최적의 계산 비용으로 처리할 수 있습니다.
결과적으로 이 월드 모델은 LVP(Latent Video Prediction)와 같은 이전 최첨단 접근법보다 최대 몇 배 더 빠르게 실행되면서도 비슷하거나 더 나은 예측 품질을 유지합니다. DVG-WM은 합성 시뮬레이션 데이터셋과 실제 로봇 조작 데이터셋(집어 옮기기, 따르기, 쌓기 작업의 9,000개 이상의 궤적 포함) 모두에서 훈련되었습니다.
주요 결과
DVG-WM은 CALVIN 벤치마크(표준 시뮬레이션 로봇 조작 환경)와 Franka Emika Panda 로봇 팔을 사용한 실제 데이터셋에서 평가되었습니다. 주요 지표는 예측 품질(FID 및 LPIPS 점수로 측정)과 계산 시간(프레임당 실제 경과 시간)이었습니다.
강력한 기준선인 LVP와 비교하여 DVG-WM은 상당한 속도 향상을 달성했습니다. 연구진에 따르면 전체 해상도 노이즈 제거 단계가 50회에서 4회로 줄어들었고, 50회는 저해상도로 전환되었습니다. 이로 인해 단일 GPU에서 반복 계획을 실행할 수 있을 정도로 추론 시간이 크게 줄었습니다. CALVIN 벤치마크에서 DVG-WM은 시각적 충실도(FID 및 LPIPS)에서 LVP와 동등하거나 약간 더 나은 성능을 보였으며, 계획 단계당 실제 시간은 5배 이상 빨랐습니다.
모델 예측 제어(MPC)를 위한 월드 모델로 사용되었을 때, DVG-WM은 여러 조작 시나리오에서 작업 성공률을 향상시켰습니다. 특히 페그 삽입과 같이 정밀한 상호작용이 필요한 작업에서, 빠른 추론 덕분에 동일한 시간 내에 더 많은 후보 동작 시퀀스를 평가할 수 있었기 때문입니다. 실제 데이터셋에서는 보지 못한 물체 배치와 조명 조건에도 일반화되어, 훈련 분포를 넘어선 강건성을 보여주었습니다.
작동 방식
DVG-WM은 확산 기반 비디오 생성 백본 위에 구축되었지만, 중요한 구조적 혁신인 동역학과 시각적 합성의 분리 훈련이 적용되었습니다.
훈련 중에 저해상도 동역학 모듈('속도' 경로)은 로봇 동작에 따라 다운샘플링된 비디오 시퀀스의 진화를 예측하는 방법을 학습합니다. 개선 모듈('품질' 경로)은 이러한 저해상도 예측을 고해상도 이미지로 매핑하는 방법을 학습하며, 장면 동역학은 무시하고 텍스처와 가장자리 세부 사항에 집중합니다.
계획(예: MPC)을 위한 추론 중에는 로봇의 제어기가 여러 동작 시퀀스를 샘플링하고, 각각에 대해 월드 모델을 전개한 후 결과를 평가합니다. DVG-WM이 계획 주기당 수십 개의 미래 궤적을 생성할 수 있을 정도로 빠르게 실행되기 때문에, 제어기는 성공 가능성이 더 높은 동작을 선택할 수 있습니다.
실제 평가에 사용된 데이터셋 전처리: 모든 비디오는 통일된 해상도(아마 256×144)로 크기가 조정되었고, 49프레임보다 짧은 궤적은 일관된 예측 기간을 보장하기 위해 폐기되었습니다. 훈련 세트는 집어 옮기기, 따르기, 쌓기, 드릴 작업을 포함한 9,000개 이상의 실제 조작 궤적으로 구성되었습니다.
| 구성 요소 | 해상도 | 노이즈 제거 단계 | 목적 |
|---|---|---|---|
| 동역학 모듈 | 64×36 (저해상도) | 50 | 로봇, 물체, 환경 간의 물리적 상호작용 모델링 |
| 개선 모듈 | 256×144 (전체) | 4 | 시각적 텍스처, 선명도, 전체 해상도 세부 사항 추가 |
분리 설계가 효율성을 주도합니다. 값비싼 50단계 확산 과정이 작은 이미지 그리드(64×36은 256×144 이미지의 약 9% 픽셀만 포함)에서 실행되어 계산 비용이 저렴합니다. 개선 모듈은 4단계만 필요합니다. 대략적인 동역학 출력에 이미 올바른 물체 위치와 실루엣이 포함되어 있기 때문에, 고주파 시각 정보(텍스처, 그림자)만 추가하면 됩니다.
로봇 공학에 미치는 영향
시각적 예측을 생성하는 월드 모델은 로봇 계획, 시뮬레이션, 강화 학습을 위한 강력한 도구입니다. 하지만 지금까지는 실제 하드웨어에서 폐루프 제어에 사용하기에는 너무 느렸습니다. 각 비디오 프레임 예측에 수 초가 걸릴 수 있었기 때문입니다. DVG-WM은 지연 시간을 단일 GPU에서 반복적 MPC를 실행할 수 있는 수준으로 낮추었으며, 이는 비디오 예측 월드 모델을 생산 산업용 로봇에 배포하는 중요한 진전입니다.
변화하는 환경(예: 예측 불가능한 선반 배치, 조명 변화)에 적응해야 하는 창고 로봇의 경우, 빠른 월드 모델을 통해 사전 시뮬레이션 없이 온라인 재계획이 가능합니다. 마찬가지로, 조립 라인의 협동 로봇은 DVG-WM을 사용하여 충돌 위험이나 그립 실패를 사전에 예측하여 안전성을 높이고 가동 중지 시간을 줄일 수 있습니다.
동역학과 시각적 품질을 분리하는 원리는 속도와 시각적 풍부함이 모두 필요한 다른 로봇 인식 작업에도 청사진이 될 수 있습니다. 엣지 GPU가 더욱 강력해짐에 따라, DVG-WM과 같은 모델이 로봇 제어기에서 로컬로 실행되어 클라우드 의존성 없이 실시간 시각적 예측을 가능하게 할 수 있습니다.
한계점 및 과제
DVG-WM은 비교적 짧은 기간의 작업(최대 49프레임, 약 3~4초 비디오)에서 평가되었습니다. 더 긴 작업이나 전체 에피소드의 경우, 반복 예측에 따른 오류 누적으로 품질이 저하될 수 있습니다. 또한 모델은 정적 배경을 가정하며 가변 조명 역학이나 인간 상호작용을 모델링하지 않습니다. 실제 공장은 더 혼란스러울 수 있습니다.
또 다른 과제: 분리 설계가 다른 카메라 시점이나 암 구성으로 전이될 수 있는가? 개선 모듈은 특정 해상도 비율로 훈련되었습니다. 다른 센서 해상도에 적응하려면 재훈련이 필요할 수 있습니다. 마지막으로, 속도 향상은 고정된 다운샘플링 비율에 의존합니다. 속도와 품질 간의 최적 균형은 작업과 하드웨어에 따라 달라질 수 있습니다.
자주 묻는 질문
DVG-WM이 해결하는 문제는 무엇인가요? 기존 비디오 예측 월드 모델은 매번 전체 해상도 프레임을 처음부터 생성하기 때문에 실시간 로봇 계획에 너무 느립니다. DVG-WM은 이 과정을 저해상도에서 빠른 동역학 모듈과 가벼운 개선 단계로 분리하여 상당한 속도 향상을 달성합니다.
DVG-WM은 이전 방법보다 얼마나 빠른가요? CALVIN 벤치마크에서 DVG-WM은 LVP 기준선보다 5배 이상 빠르게 실행되면서 비슷한 시각적 예측 품질을 유지합니다. 이는 대부분의 노이즈 제거 단계를 작은 저해상도 이미지로 전환했기 때문입니다.
DVG-WM은 실제 로봇에서 작동하나요? 네. Franka Emika Panda 로봇 팔로 수집된 9,000개 이상의 조작 궤적으로 구성된 실제 데이터셋에서 훈련 및 평가되었으며, 집어 옮기기, 따르기, 쌓기, 드릴 작업을 포함합니다.
속도 향상의 핵심 혁신은 무엇인가요? 하나의 비싼 확산 모델이 모든 것을 처리하는 대신, DVG-WM은 동역학과 시각적 요소를 분리합니다. 움직임을 모델링하기 위해 64×36 해상도에서 50번의 노이즈 제거 단계를 실행하고, 선명도를 추가하기 위해 전체 해상도에서 4단계만 실행합니다.
결론
DVG-WM은 동역학 예측과 시각적 개선을 분리함으로써 로봇 조작을 위한 빠르고 고품질의 비디오 기반 월드 모델이 가능함을 보여줍니다. 보고된 속도 향상은 비디오 기반 계획을 예측 정확도를 희생하지 않으면서 실제 로봇 배포에 더 가깝게 만듭니다. 향후 연구는 더 긴 기간, 동적 배경, 다중 카메라 설정으로 접근법을 확장할 가능성이 높습니다.