장면이 앞으로 어떻게 변화할지 예측하는 모델은 로봇 계획 수립, 표현 학습, 데이터 생성에 유용하다. 비디오 예측은 이후의 시각 정책에 필요한 기하와 외형을 그대로 보존하므로 범용 인터페이스로 활용할 수 있다. 그러나 실제 로봇 비디오에는 다루기 까다로운 특성이 함께 존재한다. 대부분의 픽셀은 정지해 있고, 동작을 결정하는 것은 작고 관절로 연결된 부품이며, 같은 자연어 지시도 시각적으로 서로 다른 궤적으로 이어질 수 있다. 따라서 모델은 중요한 움직임을 학습하지 않고 마지막 프레임을 복사하는 것만으로도 전역 이미지 평가 지표에서 경쟁력 있는 성능을 낼 수 있다.
서론
AcrossVAM1.0은 표현마다 서로 다른 역할을 부여한다. 의미 입자는 로봇 전체와 팔, 그리퍼의 기하를 표현하고, 소형 Transformer는 이들의 미래 상태를 예측하며, 별도의 인과적 외형 스트림은 세부 묘사를 복원한다. 언어는 특징별 변조를 통해 동역학에만 주입되므로, 그 효과를 궤적 수준에서 측정할 수 있다. 조밀한 분기는 마지막 문맥 프레임을 관측하지만 미래 프레임은 절대 보지 않기 때문에, 외형 경로를 통해 미래 동작이 새어 들어갈 수 없다.
우리는 의미적으로 고정된 입자 세계 모델을 제안한다. 이 모델은 실제 로봇 비디오의 동역학을 압축된 궤적 문제로 환원한다. 동역학 핵심부의 학습 가능 파라미터는 0.28M에 불과하며, 진단을 위해 부품 단위의 움직임을 직접 확인할 수 있다.
또한 예측된 입자 기하와 문맥에서만 얻은 조밀한 외형 정보를 결합하는 인과적 동작–외형 디코더를 제안한다. 이 디코더는 정적인 영역의 선명도와 움직이는 객체의 충실도 사이의 균형을 명시적으로 조절한다.
평가에서는 persistence, shuffled-language 및 random 대조군, oracle particles, 다중 시드, 로봇별 분할을 비교 대상으로 삼았다. 그 결과 안정적인 동작 개선 효과와 함께, 언어가 궤적에 반영되는 정도는 아직 제한적이라는 점을 확인했다.
문제 정식화
객체 중심 상태는 장면을 관련 객체와 부품의 관점에서 표현한다.
동역학 함수는 시간에 따라 객체 중심 상태가 어떻게 변하는지 예측한다.
디코더는 문맥의 외형 정보와 함께 예측된 동작을 렌더링한다.
고정된 의미 입자 코덱
각 프레임에서 고정된 SAM3-DLP 인코더는 RGB와 VRS 부품 마스크를 입력으로 받아, 로봇 전체와 팔, 그리퍼에 해당하는 의미 입자 및 공간적 배경 잠재 벡터를 추출한다.
각 의미 입자는 하나의 로봇 부품 또는 장면 구성 요소가 인코딩된 상태를 나타낸다.
순서가 정해지지 않은 제안에는 시간적 대응 관계가 필요하다. 인접한 프레임 사이에 대응 관계를 구성하고 Hungarian matching을 사용해 일치하는 입자 식별자를 얻는다. 막대 표시는 스케일이 정규화된 좌표를 뜻한다. 오프라인 VRS 캐시에서는 고정된 의미 부품 식별자가 이미 순열을 결정하므로 매칭을 생략하며, 제안 기반 추론에서는 매칭을 유지한다.
텍스트 보조 입자 동역학
동역학 입력은 기하, 1차 속도, 깊이, 존재 여부, 학습된 슬롯 임베딩과 시간 임베딩을 이어 붙인 것이다. 인과적 시공간 Transformer는 각 슬롯 내부의 시간적 추론과 로봇 부품 간 상호작용을 번갈아 수행한다. 그리고 잔차 업데이트를 자기회귀적으로 예측한다.
잔차 업데이트는 각 입자 상태에 대해 예측된 변화를 지정한다.
텍스트 특징은 고정된 OpenCLIP ConvNeXt-L/320 텍스트 타워가 생성한다.
각 Transformer 블록에서는 학습 가능한 FiLM이 지시문의 의미를 주입한다.
특징별 선형 변조는 언어 조건부 파라미터를 사용해 중간 동역학 특징의 크기와 이동량을 조절한다.
FiLM 투영층은 0으로 초기화하므로, 최적화는 무작위로 교란된 모델이 아니라 언어 조건이 없는 동역학에서 시작한다. 학습에서는 한 단계 전이 감독과 자기회귀 롤아웃 감독을 함께 사용한다.
학습 목표는 다음 단계 예측과 여러 단계에 걸쳐 예측된 궤적에 대한 감독을 결합한다.
표현과 동역학
잔차 코드를 추가하면 재구성 PSNR이 7.01 dB 향상된다. 이는 텍스처를 객체 상태에 억지로 포함시키기보다 이중 스트림을 사용하는 것이 타당함을 보여준다. 소형 동역학 모델은 여러 시드에서 궤적 persistence를 안정적으로 능가한다. 진단 결과, 잔차화된 박스 좌표와 원시 외형 특징이 지름길 신호를 제공하는 것으로 나타났다. 이를 제거하고 stride-three 동작을 사용하면 오차 감소율이 한 자릿수 초반에서 21.0%로 상승한다.
모델은 언어를 사용하는가?
다중 시드에서 관찰된 양의 성능 차이와, 운동학적 의사 텍스트 및 무작위 레이블에서 차이가 거의 0에 가까웠다는 점은 FiLM이 실제 의미 신호를 포착한다는 것을 시사한다. 그러나 그 효과는 여전히 작으며 목표치인 10%에 미치지 못한다. 따라서 우리는 AcrossVAM1.0을 지시문으로 동작을 제어하는 모델이 아니라 텍스트 보조 모델로 설명한다. 자동 생성 캡션의 낮은 동사 재현율은 더 큰 언어 인코더를 사용한다고 해서 인과적 효과가 자동으로 커지지 않는 이유도 설명한다.
언어 조건부 입자 모델은 Franka (+21.1%, 136개 윈도), WidowX (+19.0%, 68개), UR5 (+18.4%, 8개)에서 개선을 보였지만, Mobile ALOHA (60개 윈도), Google Robot (32개), 그리고 여러 소규모 부분집합에서는 성능이 저하되었다. Franka를 제외한 전체 집계 성능은 여전히 양수였지만 (+10.0%, 232개 윈도), 엄격한 leave-one-robot-out Mobile ALOHA 실험에서는 persistence를 능가하지 못했다.
결론
우리는 의미 입자 동역학과 인과적 외형 합성을 결합해 로봇 비디오 예측을 수행하는 소형 텍스트 보조 세계 모델 AcrossVAM1.0을 제안했다. 이 모델은 궤적과 동작 영역 예측을 개선했으며, 잔차 전달을 통해 정적인 시각 정보의 충실도도 상당 부분 회복했다. 강력한 대조 실험은 무엇이 효과적인지, 즉 저차원 동작 모델링이 유효하다는 점과, 무엇이 여전히 해결되지 않았는지, 즉 지각 정보 전달, 언어 의존성, 로봇 간 전이 문제를 함께 보여준다. 이러한 분리는 종합 이미지 지표 뒤에 실패 양상을 숨기지 않는, 해석 가능한 비디오 행동 모델을 위한 토대를 제공한다.
자주 묻는 질문
AcrossVAM1.0이란 무엇인가요? AcrossVAM1.0은 의미 입자 동역학과 인과적 외형 합성을 기반으로 하는 소형 텍스트 보조 로봇 비디오 예측 세계 모델입니다.
의미 입자는 무엇을 나타내나요? 로봇 전체와 팔, 그리퍼의 기하뿐 아니라 공간적 배경 잠재 벡터를 나타냅니다.
언어는 모델에 어떻게 반영되나요? 고정된 OpenCLIP 텍스트 타워에서 얻은 특징을 사용해 특징별 선형 변조 방식으로 입자 동역학에 언어를 주입합니다.
모델이 지시문만으로 로봇 동작을 완전히 제어하나요? 아닙니다. 측정된 언어 효과는 긍정적이지만 작기 때문에, 이 모델은 지시문 제어 모델이 아니라 텍스트 보조 모델로 설명됩니다.