ODEWorld는 하나의 압축된 잠재 상태를 물리적 시간에 따라 연속적으로 변화시켜 로봇의 미래 영상을 생성하는 연속 예측 세계 모델이다. 로봇 조작 벤치마크 LIBERO-LONG에서 평균 과제 성공률 83.2%를 기록해 비교된 모든 기준선 가운데 최고 성능을 달성했으며, 재학습 없이도 언어 지시에 대응한다.
목차
연구진이 만든 것
ODEWorld는 장면이 어떻게 변화하는지 학습하는 신경망, 즉 로봇 조작을 위한 세계 모델이다. 영상을 프레임 단위로 하나씩 예측하는 대신, 상미분방정식(ODE)을 이용해 압축된 잠재 표현을 물리적 시간에 따라 연속적으로 변화시킨다. 현재 관측을 DINOv2 비전 백본으로 인코딩하고, 학습된 속도장에 따라 하나의 잠재 토큰을 이동시킨 뒤, 그 결과를 원하는 시점의 미래 프레임으로 디코딩하는 구조다.
이 모델은 두 가지 방식으로 목표 조건을 반영한다. 명시적인 이미지 목표를 직접 입력할 수 있으며, 경량 목표 이미지 예측기를 통해 언어 지시도 처리한다. 이 예측기는 4개의 교차 어텐션 레이어로 구성되어 현재 관측과 텍스트 지시를 예측 목표 이미지로 변환한다.
연구진은 순차적 하위 목표 롤아웃 전략도 설계했다. ODEWorld는 과제 수행 구간 전체에 걸쳐 촘촘한 하위 목표 프레임을 연속으로 생성하고, 이후 조작 정책이 이를 순서대로 따른다. 이 방식은 정책의 유도가 과제 목표와 긴밀하게 맞물리도록 하며, 긴 시간 범위의 롤아웃에서 흔히 발생하는 누적 이탈을 막는다.
주요 결과
가장 눈에 띄는 결과는 장기 로봇 조작을 위해 설계된 벤치마크 LIBERO-LONG에서 나왔다. 순차적 하위 목표 롤아웃을 적용한 ODEWorld는 평균 성공률 83.2%를 기록해, 모든 ODEWorld 변형 모델과 시험된 모든 기준선 가운데 가장 높은 점수를 얻었다. ODEWorld의 모든 변형 모델이 기준선보다 우수했으며, 이는 높은 시간적 일관성 덕분으로 해석된다. 모델의 롤아웃은 궤적을 정밀하게 맞춰 유지하고, 과제 목표에서 벗어나지 않으면서 촘촘하고 신뢰할 수 있는 유도를 제공한다.
세 가지 절제 실험도 이 결과를 뒷받침한다. DINOv2 비전 인코더를 SigLIP 2 또는 LIV로 바꿔도 차이는 작았고, 단·장기 예측 모두에서 DINOv2가 여전히 앞섰다. 잠재 토큰 수를 1개에서 4개로 늘려도 성능 변화는 크지 않았으며, 이는 토큰 하나만으로도 underlying dynamics를 충분히 포착할 수 있음을 보여준다. 또한 언어로 지정한 목표를 예측 목표 이미지로 변환했을 때의 영상 예측 품질은 정답 목표 이미지를 사용했을 때와 거의 같았다.
| 설정 | 결과 |
|---|---|
| LIBERO-LONG 평균 성공률 — ODEWorld 순차적 하위 목표 | 83.2% (모든 변형 모델과 기준선 가운데 최고) |
| 비전 인코더 절제 실험 (DINOv2 대 SigLIP 2 대 LIV) | 모두 안정적이며, 단·장기 예측에서는 DINOv2가 최고 성능을 기록. 차이는 작음 |
| 잠재 토큰 수 (1 대 4) | 성능이 비슷함 — 토큰 하나로 충분 |
| 목표 조건화 (예측 목표 이미지 대 정답 목표 이미지) | 영상 예측 성능이 거의 동일 |
장기 롤아웃에서도 시간적 일관성과 물리적 타당성이 유지된 반면, 기준선 방법들은 긴 예측 구간에서 시각적 품질 저하와 시간적 불일치를 보였다.
작동 방식
핵심 아이디어는 영상 예측을 이산적인 시퀀스 문제가 아니라 연속적인 동역학 문제로 다루는 것이다. 인코더는 현재 관측을 잠재 상태로 변환한다. 학습된 ODE는 단위 물리 시간당 해당 상태가 어떻게 변화하는지를 나타내는 속도장을 정의한다. 수치 적분으로 상태를 원하는 미래 시점까지 전진시키고, 디코더가 각 상태를 픽셀 영상으로 렌더링한다. 예측이 프레임 인덱스가 아니라 물리적 시간에 연결되기 때문에 임의의 시간 해상도에서 프레임을 생성할 수 있으며, 롤아웃을 매끄럽고 이탈 없이 유지한다.
두 가지 설계 선택이 모델의 효율성을 높인다. 첫째, 잠재 표현을 단일 토큰으로 구성했다. 절제 실험 결과, 이 하나의 토큰만으로도 픽셀에서 underlying dynamics를 포착하기에 충분했다. 둘째, 동역학 모델을 의도적으로 간결하게 유지했다. 대규모 비전-언어 모델 대신 DINOv2를 시각 백본으로 사용해 추가적인 멀티모달 정렬 복잡성을 피했다.
목표 조건화는 두 수준에서 작동한다. 이미지 목표는 잠재 상태의 변화를 유도하는 명시적 시각 목표로 직접 입력된다. 언어 지시는 목표 이미지 예측기를 거친다. 이 모듈은 현재 관측과 지시를 바탕으로 의미 있는 목표 이미지를 생성하며, 동역학 모델을 재학습하지 않고 텍스트와 시각 특징 공간을 연결한다.
정책 학습에서는 순차적 하위 목표 방식이 롤아웃을 실제 행동으로 연결한다. 모델이 시간 구간 전체에 걸쳐 하위 목표를 순서대로 생성하므로, 정책은 촘촘한 시간적 유도를 받고 과제 목표를 놓치지 않는다.
로보틱스에서 중요한 이유
LIBERO-LONG에서 83.2%를 기록했다는 사실은 연속시간 세계 모델이 장기 조작을 더욱 안정적으로 만들 수 있음을 보여준다. 이는 집기 및 놓기, 조립, 기계 가공·공급과 같은 작업에 직접적으로 연관된다. 촘촘한 하위 목표 유도는 후단 정책의 부담을 줄이므로, 로봇 학습에 필요한 실제 시연 횟수도 줄일 가능성이 있다.
언어를 목표로 변환하는 연결 고리도 실용적인 장점이다. 작업자는 자연어로 과제를 지정할 수 있고, 모델은 무거운 멀티모달 모델 없이 단 4개의 교차 어텐션 레이어만으로 해당 지시를 시각적 유도로 바꾼다. 이는 중고 산업용 로봇이나 차세대 휴머노이드 로봇을 검토하는 구매자에게 배포 비용을 낮추는 요소가 될 수 있다.
단일 토큰 잠재 표현은 연산량이 적은 롤아웃의 가능성도 보여준다. 예측 속도가 정확도만큼 중요한 실시간 제어 루프에서는 특히 중요한 특성이다.
한계와 남은 질문
이 결과는 LIBERO 시뮬레이션 환경에서 나온 것이며, 현재 확인 가능한 자료에는 실제 로봇 벤치마크 수치가 제시되어 있지 않다. 개별 기준선 대비 구체적인 성능 차이도 보고된 부분에서 충분히 정량화되지 않았기 때문에, 각 경쟁 방법에 대한 개선 폭은 아직 명확하지 않다.
장기 롤아웃에는 여전히 성능 저하 위험이 있으며, 목표 이미지 예측기는 시뮬레이션 언어 지시에 대해서만 검증됐다. 마지막으로 비전 인코더 절제 실험에서 차이가 작게 나타났다는 점은 인코더 선택보다 연속시간 동역학 설계 자체가 더 중요할 수 있음을 시사한다. 이는 흥미로운 가설이지만 더 폭넓은 검증이 필요하다.
자주 묻는 질문
ODEWorld란 무엇인가? ODEWorld는 로봇 조작을 위한 연속시간 세계 모델이다. 프레임을 한 장씩 생성하는 대신 상미분방정식을 이용해 압축된 잠재 상태를 물리적 시간에 따라 변화시키면서 미래 영상을 예측한다.
연속시간 예측이 정책 학습을 개선하는 이유는 무엇인가? 롤아웃이 긴 시간 범위에서도 시간적으로 일관되게 유지되기 때문에, 과제 목표에서 벗어나지 않는 촘촘한 하위 목표 유도를 제공할 수 있다. 그 결과 LIBERO-LONG 평균 성공률이 83.2%까지 올라 모든 기준선을 앞섰다.
ODEWorld는 목표 이미지 대신 언어 지시를 어떻게 처리하는가? 4개의 교차 어텐션 레이어로 구성된 경량 목표 이미지 예측기가 현재 관측과 텍스트 지시를 목표 이미지로 변환한다. 이렇게 예측한 목표를 사용한 영상 예측은 정답 목표 이미지를 사용한 경우와 거의 동일한 성능을 보인다.
ODEWorld가 제대로 작동하려면 큰 잠재 표현이 필요한가? 아니다. 절제 실험에서 잠재 토큰 1개가 4개와 비슷한 성능을 보였다. 이는 하나의 압축된 토큰만으로도 픽셀에서 장면의 동역학을 포착할 수 있음을 의미한다.
결론
ODEWorld는 연속시간 모델링이 로봇 세계 모델의 장기 예측 신뢰성을 높이면서도, 실제 활용에 적합할 만큼 작은 잠재 표현을 유지할 수 있음을 보여준다. 언어를 목표로 변환하는 연결 기능은 이 구조를 지시 기반 작업으로 확장하며, 더욱 자율적인 산업용·서비스 로봇으로 나아가는 한 걸음이 된다.