문제 정식화
행동 시퀀스에 조건화된 미래 예측을 자기회귀적으로 모델링함으로써, 월드 모델은 일련의 행동에 조건화된 미래 관측을 예측하고 인간 조작자 및 다운스트림 정책과의 폐루프 상호작용을 가능하게 한다.
시각 행동을 활용한 월드 모델링
이어서 월드 모델을 시각 행동 시퀀스와 과거 맥락을 바탕으로 미래 관측을 예측하는 모델로 정의한다.
시각 행동 시퀀스를 조건으로 사용하면 시스템은 로봇의 몸체 움직임에 의해 직접 유도되는 장면 상호작용을 학습할 수 있다.
효율적인 폐루프 상호작용
인간 조작자 및 다운스트림 정책과의 폐루프 상호작용을 가능하게 하기 위해, 월드 모델은 입력 행동에 대한 응답으로 다음 관측을 예측하고, 생성된 관측을 과거 맥락으로 자기회귀적으로 다시 입력하여 이후 롤아웃에 활용한다.
앞서 설명한 방식에 따라, 각 예측 단계에서 새로 생성된 토큰 블록 내부에는 완전한 self-attention을 적용하는 한편, 이전 토큰의 key-value 쌍은 과거 맥락으로 캐시한다.
실험
이 절에서는 다음 질문에 답하며 GeniWorld를 종합적으로 평가하기 위한 실험을 설계한다.
생성 충실도와 일반화
GeniWorld는 충실도 높은 동영상 예측을 생성하고, 다양하며 관측하지 못한 시나리오 전반에 효과적으로 일반화할 수 있는가?
정책 평가의 신뢰성
GeniWorld는 장면에 섭동이 가해지거나 분포 밖 환경에 놓인 경우에도 실제 성능과 높은 상관관계를 유지하면서 다운스트림 정책을 신뢰성 있게 평가할 수 있는가?
정책 개선을 위한 데이터 합성
GeniWorld는 새로운 실제 환경을 구축하는 비용 없이, 제한된 기록 궤적에서 효과적인 학습 데이터를 합성하여 정책 학습과 성능을 향상할 수 있는가?
실제 환경 플랫폼 구성
실험 플랫폼은 양팔 Xtrainer 로봇 시스템으로 구축했다. 핸드-아이 캘리브레이션을 수행한 뒤 로봇의 URDF를 Isaac Sim에 통합해 동작을 제어하고, 물리 카메라 구성을 그대로 재현하여 시각적으로 일관된 관측을 렌더링했다.
다양한 물체와 복잡한 물리 동역학이 포함된 대표적인 조작 과제 네 가지를 설계했다.
- Move Bowl
- Fold Towel
- Place Mug
- Open Drawer
시연 데이터는 Xtrainer 원격조작 시스템을 사용해 수집했다. 학습 데이터를 수집하는 동안에는 탁자 위 환경을 깨끗하게 유지하고, 에피소드마다 조작 대상 물체의 위치와 방향만 무작위화했다.
정책 평가를 위한 월드 모델
GeniWorld가 다운스트림 정책을 평가하는 효과적인 오프라인 평가기로 활용될 수 있는지 조사했다. 동일한 정책 체크포인트를 GeniWorld와 실제 환경에서 각각 실행하고, 시뮬레이션 롤아웃과 실제 과제 성공률 사이의 상관관계를 정량적으로 측정했다.
정책은 수집한 실제 시연 데이터를 사용해 비전-언어-행동 모델을 파인튜닝하여 얻었다. 각 시행에서 정책은 GeniWorld와 실제 환경 모두에서 동일한 첫 프레임 시각 관측으로 초기화했다.
사람 평가자는 과제 성공 여부를 이진값으로 판단하고, 비전-언어 모델은 조작의 개연성을 자동으로 평가하는 심판 역할을 수행했다.
정책 개선을 위한 데이터 합성
이어서 좁은 분포에서 수집한 제한적인 시연만으로 GeniWorld가 다양한 조작 데이터를 합성하여, 복잡한 조건에서 정책 성능과 일반화 능력을 향상할 수 있는지 살펴본다.
결론
이 연구에서는 시각 행동을 조건으로 하여 공간적으로 정합된 폐루프 로봇 상호작용을 가능하게 하는 일반화 가능한 상호작용형 월드 모델 GeniWorld를 소개했다.
제한된 고정 장면 시연 데이터로 학습했음에도 GeniWorld는 도메인 내에서 높은 성능을 달성했으며, 관측하지 못한 시나리오에도 강력한 제로샷 일반화 성능을 보였다. 또한 안정적인 정책 평가를 지원하고, 다운스트림 정책 성능을 향상하는 확장 가능하고 매우 다양한 합성 궤적을 생성한다.
이러한 결과는 일반화 가능한 월드 모델이 체화 로봇 학습을 위한 확장 가능한 상상 공간을 제공할 가능성이 매우 크다는 점을 보여준다.
자주 묻는 질문
GeniWorld란 무엇인가? GeniWorld는 공간적으로 정합된 폐루프 로봇 상호작용을 위해 시각 행동을 조건으로 사용하는 일반화 가능한 상호작용형 월드 모델이다.
실험에는 어떤 로봇 플랫폼이 사용되었는가? 실험에는 양팔 Xtrainer 로봇 시스템이 사용되었으며, 핸드-아이 캘리브레이션 후 해당 로봇의 URDF를 Isaac Sim에 통합했다.
어떤 조작 과제를 평가했는가? 평가한 과제는 Move Bowl, Fold Towel, Place Mug, Open Drawer이다.
GeniWorld는 정책 개선에 어떻게 활용되는가? GeniWorld는 제한된 시연 데이터에서 다양한 조작 데이터를 합성하여 정책 학습과 일반화 성능을 향상한다.