에이전트의 행동과 그 효과를 세계에 연결하고 그 반대 방향으로 연결하는 것은 목적 있는 상호작용의 기본이다. 감각운동 제어에서 숙련된 행동은 움직임의 감각적 결과를 예측하는 순방향 모델과 원하는 상태를 실현하는 데 필요한 움직임을 복구하는 역방향 모델을 결합한다. 로봇 세계 모델은 단일 예측 프레임워크 내에서 두 방향의 추론을 모두 지원해야 한다.
서론
본 연구는 사전 훈련된 비디오 모델을 위한 픽셀 공간 제어 인터페이스인 마스크된 시각적 행동(Masked Visual Actions)과 실제 및 시뮬레이션 데이터의 마스크된 예제를 기반으로 한 효율적인 적응 레시피를 소개한다. 순방향 및 역방향 로봇 세계 모델링 문제는 장면의 다른 개체를 드러냄으로써 얻어지는 동일한 비디오 모델의 상호 보완적인 조건부 예측 문제로 표현될 수 있다. 이 프레임워크는 시뮬레이션과 실제 환경 모두에서 로봇 조작의 세 가지 응용(정책 평가, 모델 기반 계획, 역모델링)을 통해 검증된다.
데이터셋 구축
마스크된 모델링 데이터셋은 DROID의 실제 세계 비디오와 Robocasa의 시뮬레이션 데이터를 결합하여 구축된다. 두 데이터셋의 성공 및 실패 궤적이 모두 사용된다. 각 비디오에 대해 마스크된 조건화를 구성하기 위해 비디오 분할과 로봇 상태 렌더링에 기반한 두 가지 접근 방식이 사용된다.
모델 구현 및 훈련
Wan-Fun-Control 2.2 14B가 기본 모델로 사용된다. 마스크된 조건화 비디오는 비디오 모델과 동일한 오토인코더로 인코딩되며, 조건화 메커니즘으로 연결(concatenation)이 사용된다. 조건화 신호가 원하는 출력 비디오와 공간적으로 정렬되어 있으므로 연결이 적절하다. 마스크된 조건화의 누락된 영역은 균일한 회색 배경으로 설정된다. 전체 모델을 미세 조정하는 대신 랭크 256의 LoRA 미세 조정이 사용되며, 8개의 NVIDIA H200 GPU에서 배치 크기 4로 훈련된다. 모델은 약 10,000 스텝 동안 4일에 걸쳐 훈련된다.
실험
마스크된 시각적 행동은 세계 모델링을 위한 제어 신호로 평가되며, 시각적 충실도와 제어 가능성을 이전 연구와 비교하고 훈련 중 보지 못한 구현체에 대한 일반화를 강조한다. 비디오 모델의 다양한 로봇 응용이 평가된다. 여기에는 샘플링된 궤적을 평가하는 계획, 정책 평가, 역모델링을 통한 비디오 모델 자체를 정책으로 사용하는 것이 포함된다.
로봇 응용
로봇 분야에서 통합 세계 모델의 여러 응용이 강조된다. 모델은 로봇 행동을 시뮬레이션하는 순방향 모델로 사용되어 계획 및 정책 평가에 사용된다. 또한 역모델로도 사용된다: 원하는 물체 움직임이 마스크된 시각적 행동으로 주어지면 로봇이 원하는 물체 조작을 수행하는 비디오가 생성되고, 학습된 역동역학 모델을 사용하여 행동이 추출된다. Robocasa는 이러한 응용 전반에 걸쳐 시뮬레이션 환경으로 사용된다.
계획 및 정책 평가를 위한 시뮬레이션 정책 훈련
시뮬레이션 정책의 경우, 벤치마크에서 제공하는 성공 조건에 대해 평가된다. 계획에서 이러한 정책은 제안 생성기 역할을 한다: 정책에서 행동 후보를 샘플링하고, 각 후보를 비디오 모델로 시뮬레이션하며, 예측된 미래를 VLM 기반 평가기로 순위를 매긴다. 정책 평가에서는 동일한 클래스의 정책이 행동 궤적을 제공하며, 그 성공률이 시뮬레이터와 비디오 모델 간에 비교된다.
행동 추출을 위한 학습된 역동역학
이 실험에는 Diffusion Policy, ACT, SmolVLA 기준선이 포함되지만, 이는 행동 추출 설정에 대한 좁은 제어 역할만 한다. 해당 기준선은 전체 합성 상호작용이 아닌 생성된 비디오의 첫 번째 프레임에서 작동하므로, 이 하위 섹션 외부에서 별도의 전용 논의가 필요하지 않다.
하드웨어 설정
감지 설정은 두 대의 ZED Mini 2 카메라로 구성된다. 한 대의 카메라는 로봇 손목에 장착되어 엔드 이펙터 근처의 자기중심적 뷰를 제공한다. 두 번째 카메라는 외부에 장착되어 작업 공간의 고정된 3인칭 뷰를 제공한다. 두 카메라 모두 1280 × 720 해상도와 30Hz로 RGB 프레임을 기록한다.
카메라 및 로봇 프레임 캘리브레이션
외부 카메라는 동일한 테이블 장착 AprilTag를 관찰하여 캘리브레이션된다. 손목 카메라 포즈는 손목-카메라 캘리브레이션을 통해 알려져 있으므로, 검출된 태그 포즈에서 로봇 베이스에 대한 외부 카메라 포즈를 계산할 수 있다. 테이블 장착 AprilTag는 로봇, 손목 카메라, 외부 카메라 간의 공유 참조 프레임을 제공한다. 캘리브레이션 품질은 로봇 모델을 카메라 이미지에 투영하고 관찰된 프레임과의 정렬을 확인하여 검증된다.
궤적 표현
각 롤아웃은 궤적으로 저장되며, 여기서 o_t와 o_t_wrist는 외부 및 손목 RGB 관측값이고, q_t는 측정된 로봇 관절 상태이다. 모든 데이터는 HDF5 형식으로 저장된다. 각 파일은 하나의 롤아웃에 해당하며 RGB 프레임, 관절 상태, 타임스탬프, 캘리브레이션 메타데이터를 포함한다. 시각적 로봇 마스크를 포함한 실험의 경우, 저장된 관절 상태는 Franka 운동학 모델, 사용자 정의 엔드 이펙터 형상, 캘리브레이션된 카메라 파라미터와 결합되어 로봇 형상을 이미지 평면에 렌더링한다.
논의 및 결론
소량의 마스크된 시각적 행동 데이터로 사전 훈련된 비디오 모델을 미세 조정함으로써 비디오 모델의 사전 지식을 효율적으로 활용하여 장면 개체의 하위 집합을 조건화함으로써 반사실적 상황을 합성할 수 있다. 모델은 로봇 구현 시각화를 행동 조건화된 순방향 모델로 조건화할 때 로봇 행동을 시뮬레이션할 수 있으며, 역모델로 작용할 때 물체를 사실적으로 조작하는 적절한 로봇 움직임을 합성한다.
한계점
모델은 기존 생성 모델과 유사하게 인과 관계보다는 객체 상호작용 간의 상관관계를 학습하며, 이는 여전히 열린 연구 과제로 남아 있다. 이 방법은 추론 속도와 표현 가능성 모두에서 기본 비디오 모델의 능력에 자연스럽게 제한되며, 모델의 능력을 수정하는 대신 사전 지식을 재사용한다.
사회적 및 광범위한 영향
비디오 기반 정책 평가, 계획, 역모델링을 가능하게 함으로써 이 연구는 로봇 시스템 개발 비용을 낮추고 로봇 학습을 더 접근하기 쉽게 만들 수 있다. 그러나 동일한 능력이 안전하지 않거나 승인되지 않은 로봇 행동에 사용될 수도 있으므로 책임 있는 사용과 배포의 필요성이 강조된다.
자주 묻는 질문
마스크된 시각적 행동이란 무엇인가? 마스크된 시각적 행동은 사전 훈련된 비디오 모델을 위한 픽셀 공간 제어 인터페이스로, 마스크된 비디오 예제를 통해 로봇이 순방향 및 역방향 세계 모델을 모두 학습할 수 있게 한다.
모델은 어떻게 훈련되나? 모델은 Wan-Fun-Control 14B 기본 모델에 LoRA 미세 조정을 사용하며, DROID 및 Robocasa 데이터셋의 데이터를 사용하여 8개의 NVIDIA H200 GPU에서 10,000 스텝 동안 훈련된다.
이 모델은 어떤 로봇 응용을 가능하게 하나? 모델은 정책 평가, 모델 기반 계획, 그리고 원하는 물체 움직임을 기반으로 비디오 모델 자체가 로봇 행동을 생성하는 역모델링을 가능하게 한다.
주요 한계점은 무엇인가? 모델은 인과 관계보다는 상관관계를 학습하며, 성능은 속도와 표현력 측면에서 기본 비디오 모델의 능력에 의해 제한된다.