본 논문은 공유 비디오-액션 잠재 공간을 구축하여 로봇 액션 레이블 없이 대규모 비디오 데이터로부터 제어 정책을 학습할 수 있는 사전학습 접근법을 소개한다. 의미적 시각-액션 토크나이저는 시각적 관찰과 로봇 액션을 모두 통합된 이산 잠재 공간으로 압축하도록 학습되며, 인과적 비디오-액션 모델은 이 공간에서 사전학습되어 미래 시각적 잠재 변수와 이를 연결하는 잠재 액션을 예측한다.
비디오-액션 모델 사전학습 및 추론
의미적 시각-액션 토크나이저를 기반으로, 두 번째 단계에서는 공유 비디오-액션 잠재 공간에서 인과적 비디오-액션 모델을 사전학습한다. 이 모델은 두 수준으로 구성된다: 상위 수준의 플래너는 언어 목표를 하위 작업으로 분해하고 진행 상황을 추적하며, 하위 수준의 비디오-액션 정책은 각 하위 작업을 실현하기 위해 미래 시각적 잠재 변수와 이를 연결하는 잠재 액션을 예측한다. 정책은 청크 단위로 동작하므로 인덱스는 개별 프레임이 아닌 청크 범위를 나타낸다.
비디오-액션 정책이 단일 하위 작업 내에서 연속 제어를 처리하는 반면, 장기 작업은 상위 수준 목표를 하위 작업으로 분해하고, 현재 활성화된 하위 작업을 추적하며, 다음 하위 작업으로 전환 시점을 결정해야 한다. 플래너는 사전학습된 비전-언어 모델(VLM)로 구현되며, 정책을 위한 구조화된 하위 작업 컨텍스트를 생성하도록 미세 조정된다. VLM 백본은 기본적으로 시각-언어 접지를 제공하므로, 플래너는 희소한 시각적 관찰만으로도 처음부터 장면 이해를 학습하지 않고 작업 상태를 평가할 수 있다.
플래너-정책 분리
플래너와 정책은 서로 다른 주파수로 동작하며 비동기 공유 버퍼를 통해 분리된다. 플래너는 백그라운드에서 낮은 주파수로 실행되어 구조화된 하위 작업 컨텍스트를 버퍼에 쓰고, 정책은 각 액션 청크 경계에서 최신 컨텍스트를 읽어 조건 신호로 사용한다. 이를 통해 플래너 추론 지연 시간이 정책의 실행 루프를 차단하지 않는다.
구조화된 플래너 출력
플래너의 출력 형식은 비디오-액션 정책이 학습 중에 보는 조건 필드와 정확히 일치해야 한다. 불일치가 발생하면 정책이 추론 시 분포 외 조건을 받게 된다. 이 제약 조건 하에서 플래너 출력은 네 가지 필드를 가진 구조화된 JSON으로 정의된다:
- done: 현재 하위 작업을 계속할지 아니면 플래너가 다음 하위 작업으로 전환할지를 나타내는 완료 신호.
- instruction: 현재 또는 다음 하위 작업에 대한 간결한 실행 지시어 (예: "테이블 위의 빨간 병을 집어라"). 학습 중 정책이 사용하는 주요 조건 필드이다.
- generation_instruction: 해당 하위 작업 내에서 예상되는 로봇 동작과 객체 상호작용에 대한 더 풍부한 설명으로, 정책에 더 구체적인 실행 단서를 제공한다.
- local_scene_description: 관찰에 기반한 공간 배치와 객체 상태에 대한 설명으로, 정책에 로컬 컨텍스트를 제공한다.
done 필드는 상위 수준 스케줄러만 사용하여 현재 하위 작업을 유지할지 새로고침할지 결정한다. 하위 수준 정책은 세 가지 텍스트 필드에 조건화된다: instruction은 간결한 명령을 제공하고, generation_instruction과 local_scene_description은 사용 가능할 때 더 상세한 액션 및 장면 컨텍스트를 제공한다.
데이터 레시피
LingBot-VA 2.0은 멀티 태스크 커리큘럼을 따르는 데이터 레시피로 학습된다: 일반 텍스트-이미지 사전학습, 일반 텍스트-비디오 사전학습, 마지막으로 임베디드 데이터에 대한 비디오-액션 적응.
일반 이미지 및 비디오 데이터
일반 텍스트-이미지 및 텍스트-비디오 사전학습 단계를 위해 LingBot-Video에서 선별된 이미지 및 비디오 코퍼스가 재사용된다. 이러한 웹 규모의 이미지 및 비디오 데이터는 비디오-액션 적응 전에 광범위한 외형 및 역학 사전 지식을 제공한다.
로봇 데이터
모든 로봇 데이터는 통합 주석 파이프라인으로 재처리된다. 각 긴 궤적은 원자 액션 클립으로 분할되고, 각 클립에는 Qwen3.5-397B를 사용하여 언어 프롬프트와 전역 작업 명령이 할당된다. 이 재레이블링 단계는 이전 버전에서 누락되거나 너무 일반적인 프롬프트를 수정하고, 여러 로봇 체계와 데이터셋에 걸쳐 언어 감독을 더 일관되게 만든다.
시뮬레이션 평가
모델은 깨끗한 장면과 도메인 무작위화된 장면을 모두 포함하는 양손 조작 벤치마크인 RoboTwin에서 평가되며, 대표적인 기준선과 비교하여 작업 성공률이 보고된다. LingBot-VA를 따라, 모든 모델은 깨끗한 장면에서 수집된 2,500개의 시연(작업당 50개)과 강하게 무작위화된 장면에서의 25,000개의 시연(작업당 500개)으로 멀티 태스크 훈련 설정이 채택되었다.
절제 연구
토크나이저의 효과를 분리하기 위해, 각 변형에 대해 1.3B 비디오-액션 모델을 처음부터 학습시킨다. WAN2.2 VAE 기준선과 제안된 토크나이저는 동일한 수의 토큰으로 학습되고 동일한 다운스트림 아키텍처를 초기화하는 데 사용된다. 그런 다음 동일한 RoboTwin 사후 학습을 적용하고 공식 Easy 및 Hard 분할에서 성공률을 평가한다.
토크나이저 절제 연구는 재구성 중심의 WAN2.2 VAE를 제안된 토크나이저로 대체하면 예측 수평선 전반에 걸쳐 RoboTwin 성능이 일관되게 향상됨을 보여준다. 더 긴 수평선에서 이득이 더 커지는데, 이는 의미적 시각-액션 토크나이제이션이 세계-액션 모델링과 다운스트림 제어에 더 유용한 상태 정보를 보존함을 시사한다.
결론
여러 방향이 남아 있다. 플래너와 정책은 현재 개별적으로 학습되고 고정된 인터페이스를 통해 연결되며, 더 긴밀한 공동 학습은 장기 일관성을 더욱 향상시킬 수 있다. 잠재 액션 공간은 수동 비디오로 학습되며, 상호작용 또는 강화 신호가 이를 제어에 더 적합하게 만들 수 있다. 마지막으로, 사전학습 코퍼스와 희소 백본을 더 확장하고 양손 조작 이상으로 로봇 체계 범위를 넓히는 것은 범용 임베디드 기초 모델을 향한 자연스러운 다음 단계이다.
기여자
Zelin Gao, Wei Wu, Kecheng Zheng, Ruonan Zhang, Han Zhang, Jingmei Zhao, Yongtao Huang, Haitao Wang, Jingjing Wang, Chen Song
자주 묻는 질문
추론 중 플래너와 정책은 어떻게 통신하나요? 플래너는 백그라운드에서 비동기적으로 실행되어 구조화된 JSON 컨텍스트를 공유 버퍼에 쓰고, 정책은 실행을 차단하지 않고 각 액션 청크 경계에서 이를 읽습니다.
3단계 훈련 커리큘럼에는 어떤 데이터가 사용되나요? 모델은 일반 사전학습을 위해 웹 규모의 이미지 및 비디오 데이터를 사용하고, 그 다음 Qwen3.5-397B를 사용한 언어 재레이블링을 위한 통합 주석 파이프라인으로 재처리된 로봇 데이터를 사용합니다.
토크나이저 절제 연구가 표준 VAE 재구성보다 이점을 보여주나요? 네, 의미적 시각-액션 토크나이저는 RoboTwin에서 WAN2.2 VAE 기준선을 일관되게 능가하며, 더 긴 예측 수평선에서 더 큰 이득을 보입니다.
평가에 어떤 유형의 벤치마크가 사용되나요? 평가는 깨끗한 장면과 도메인 무작위화된 장면을 모두 포함하는 양손 조작 벤치마크인 RoboTwin에서 수행되며, Easy 및 Hard 분할에서 작업 성공률을 측정합니다.