데이터 큐레이션 과정에서는 네 가지 경험 소스를 학습에 바로 사용할 수 있는 비디오–언어 예시로 변환합니다. 품질 검사, 비디오 기록의 표준화, 필요한 경우 긴 비디오를 하위 과업으로 분할하는 작업, 다단계 캡션 작성이 포함됩니다. 이렇게 만든 데이터는 사전학습을 위해 혼합됩니다.
언어–비디오 정렬
일반 비디오
OpenVid와 Panda70M을 사용하며, 총 규모는 10,909.6시간입니다. 이 오픈 소스 비디오 생성 데이터셋에는 다양한 장면, 객체, 시각적 역동성을 다루는 비디오와 텍스트 설명이 포함되어 있습니다. 조작 시연에 국한되지 않는 언어–비디오 경험을 제공하기 위해 비디오와 원본 설명을 그대로 사용합니다.
자기중심 시점 비디오
Ego4D, EgoVerse, EgoSuite를 사용하며, 총 371,212개의 궤적과 10,986.3시간으로 구성됩니다. Ego4D는 주로 실제 환경에서의 일상 활동을 기록합니다. EgoVerse는 더욱 다양한 장면을 다루어 여러 환경에 걸친 자기중심 시각 경험을 추가합니다. EgoSuite는 현재 가장 규모가 큰 오픈 소스 자기중심 조작 비디오 데이터셋입니다. 이들 소스의 비디오와 언어 설명을 그대로 사용합니다.
데이터 준비
모든 소스를 LeRobot 2.1 형식으로 패키징합니다. 비디오, 언어 설명, 메타데이터를 서로 연결할 수 있는 샘플만 사용합니다. 비디오, 언어 또는 메타데이터가 연결되지 않은 샘플, 인코딩 또는 디코딩에 실패한 비디오, 품질이 낮은 것으로 확인된 샘플은 제외합니다. 비디오 기록에는 해당 언어 설명과 메타데이터를 함께 보존합니다. 데이터 목록에서는 기록된 에피소드와 비디오를 원본 길이 기준으로 집계합니다.
시각 콘텐츠 필터링
OpenVid 및 Panda70M과 같은 일반 비디오 데이터셋에는 원본 주석과 VLM 기반 콘텐츠 검토를 적용해 애니메이션, 정적인 장면, 텔레비전 프로그램 및 기타 부적합한 콘텐츠를 제거합니다. 자기중심 시점 비디오에는 VLM을 사용해 모션 블러, 밝기, 가림 여부와 클립에 의미 있는 행동이 포함되어 있는지를 평가합니다. 이를 통해 저품질 이미지와 정보량이 적은 행동이 학습에 미치는 영향을 줄입니다. 아래에서 설명하는 UMI 및 로봇 시연에도 유사한 필터링 규칙을 적용합니다.
일반 비디오를 활용한 비디오 모델 적응
당사의 WAM은 로봇 제어를 지원하도록 Wan의 비디오 모델링 설계를 수정하며, 이 과정에서 사전학습된 시각 및 동역학 사전분포가 손상될 수 있습니다. 이러한 적응을 용이하게 하기 위해, 먼저 Wan의 사전학습 데이터와 분포가 유사한 일반 비디오로 비디오 브랜치를 학습합니다. 이 단계에서는 이후 WAM 학습과 동일한 입력 프레임 수, 공간 해상도, 인과적 어텐션 방식을 사용합니다. 이 단계의 목적은 체화 데이터를 도입하기 전에 적응 과정에서 이러한 사전분포를 보존하는 것입니다.
언어–비디오–행동 정렬
UMI 및 로봇 시연에는 앞서 설명한 비디오 큐레이션 및 필터링 절차를 적용하고, 이전 절에서 설명한 언어 주석을 사용합니다. 이러한 언어–비디오 대응 관계를 바탕으로 비디오 세그먼트를 상태 및 행동 기록과 정렬해 언어–비디오–행동 감독 데이터를 구성합니다. 아래에서는 이러한 시연의 수집 및 큐레이션 과정을 설명합니다.
데이터 수집 시 머리와 양쪽 손목의 시점에서 각각 전체 조작 장면과 국소적인 상호작용 세부 정보를 기록합니다. 스마트폰 시각–관성 추적을 통해 행동 궤적을 얻고, 외부 인코더로 그리퍼의 열림과 닫힘을 기록합니다. 공통 좌표계와 시간 기준을 사용해 양손의 비디오, 동작 궤적, 그리퍼 상태 간의 공간적·시간적 대응 관계를 설정합니다.
수집 절차에는 녹화 전 장비 점검과 동기화 확인, 녹화 중 추적 안정성과 운동학적 실행 가능성 점검, 녹화 후 비디오 및 AR 궤적 재생이 포함됩니다. 이러한 점검을 통해 위치 추정 드리프트와 궤적의 급격한 변화 같은 이상을 식별하고 과업 완료 여부를 확인합니다.
상태–행동 표현
UMI 및 로봇 시연에는 공통의 16차원 양손 엔드이펙터 표현을 사용합니다. 각 손은 3차원 위치, wxyz 순서의 4차원 회전 쿼터니언, 1차원 그리퍼 값으로 표현됩니다. 상태 및 행동 기록은 해당 비디오 세그먼트와 연결됩니다. 각 소스는 자체 q1 및 q99 통계를 사용해 정규화합니다.
궤적 품질
자체 수집한 UMI 시연의 경우, 수집 파이프라인에서 제공하는 상태 및 행동 유효성 주석을 사용해 행동 감독 마스크를 구성합니다. 비디오는 비디오 학습에 사용하고, 유효한 행동 라벨은 행동 감독에도 사용하며 유효하지 않은 라벨은 마스킹합니다.
수집한 로봇 시연은 먼저 행동 차원, 결측값, NaNs, 유한하지 않은 값, 쿼터니언 유효성을 확인합니다. 필요한 관절 및 엔드이펙터 상태 필드가 있는 하위 집합에서는 비정상적인 관절 각도, 인접 프레임 간 관절 각도 또는 엔드이펙터 포즈의 과도한 변화, 궤적 전체에 걸친 움직임 부재가 나타나는 궤적도 추가로 제외합니다. 이러한 품질 검사를 통과한 궤적은 행동 학습에 사용합니다.
실험
다양한 소스의 경험을 활용해 비디오 사전학습으로 습득한 언어–비디오 역량을 보존하고, 이를 일반화 가능한 로봇 제어로 확장하고자 합니다. 실험에서는 언어–비디오 정렬, 언어–비디오–행동 정렬, 공동 학습, 사전학습 규모가 다운스트림 일반화에 미치는 영향을 살펴봅니다. 다음 네 가지 질문을 중심으로 연구를 구성합니다.
- 효과적인 교차 모달 정렬은 어떻게 구축할 수 있는가?
- 다양한 소스의 경험을 어떻게 통합할 수 있는가?
- 사전학습 규모를 키우면 제어 일반화가 향상되는가?
- 보지 못한 환경에서 모델은 얼마나 잘 작동하는가?
실험 설정
앞서 소개한 아키텍처와 다중 소스 코퍼스를 사용해 모델을 사전학습합니다. 비디오 브랜치는 Wan2.2-TI2V-5B에서 초기화하고, 행동 브랜치는 무작위로 초기화합니다. 학습 중에는 모든 모델 파라미터를 업데이트합니다. 사전학습과 후속 학습 모두 앞서 정의한 비디오 및 행동 공동 목적 함수를 사용합니다. 초기 학습률은 원문에서 수식으로 값이 표시됨이며, 기본 전역 배치 크기는 256입니다. 각 연구의 학습 단계와 세부 설정은 해당 실험 설명 및 표 캡션에 제시되어 있습니다.
논의 및 결론
다양한 소스의 경험을 활용해 사전학습된 언어–비디오 역량을 일반화 가능한 로봇 제어로 확장하는 방법을 연구했습니다. 약 47,000시간의 경험을 사용해 언어–비디오 정렬, 언어–비디오–행동 정렬, 그리고 두 정렬의 공동 학습을 체계적으로 조사했습니다.
자세하고 정확한 언어 설명은 사전학습된 언어–비디오 역량을 보존하는 것으로 나타났습니다. 한편 UMI 시연에서 얻은 행동 감독은 로봇 제어를 추가로 뒷받침하여, 로봇 학습에서 인간의 조작 경험이 가치 있음을 보여줍니다. 연구 결과는 경험의 구성과 감독 신호의 활용이 중요함을 보여줍니다. 제안하는 학습 레시피는 시뮬레이션 및 실제 환경 평가에서 보지 못한 조건에 대한 일반화를 보여주며, 사전학습을 계속하면 성능이 추가로 향상됩니다. 향후 연구를 지원하기 위해 데이터, 코드, 모델 가중치를 공개합니다.
사전학습된 비디오 모델을 기반으로 하는 제안 방법은 제어 일반화 평가에서 VLA 모델보다 우수한 성능을 보이지만, 복잡한 추론과 명시적인 다단계 계획에 대한 지원은 제한적입니다. 과거 맥락이 제한적이어서 장기 과업 수행에도 어려움이 있을 수 있습니다. 앞으로는 과거 관측에 대한 추론과 후속 행동 계획이 필요한 과업을 지원하기 위해 메모리 메커니즘과 계층적 계획을 연구할 계획입니다.
감사의 글
초기 연구에 기여해 주신 Zijun Xu에게 감사드립니다. 실제 환경 배포에 힘써 주신 Yutong Dong에게도 감사드립니다.
공통 설정
사전학습과 후속 학습에는 논문에서 참조한 표에 명시된 동일한 최적화 설정을 사용합니다. 배치 크기, 학습 단계 수, 학습률 스케줄은 학습 단계마다 다르며, 참조된 학습 구성 절에 자세히 설명되어 있습니다.
학습 구성
사전학습에서는 비디오 DiT를 Wan2.2-TI2V-5B에서 초기화하고, 사전학습된 UMT5-XXL 텍스트 인코더와 Wan2.2 비디오 VAE를 불러옵니다. 행동 및 상태 인코더, 트랜스포머 블록, 행동 디코더를 포함한 행동 브랜치는 무작위로 초기화합니다. 각 실험의 후속 학습은 해당 사전학습 가중치에서 시작합니다.
후속 학습 데이터 준비
자기중심 시점 비디오 및 UMI 시연을 이용한 범용 사전학습 후, 컵 쌓기, 수건 접기, 상자에 선물 넣기 과업에 각각 특화된 데이터를 사용해 모델을 별도로 적응시킵니다. 논문에서 참조한 표에는 각 과업의 후속 학습 데이터가 요약되어 있습니다.
평가 프로토콜 및 지표
쉬움(C2C) 및 어려움(C2R) 설정으로 평가합니다. 쉬움 설정에서는 후속 학습에 사용한 장면 조건과 물리적 객체의 형태 및 색상을 유지하되, 배치마다 초기 배치를 다르게 설정합니다. 어려움 설정에서는 배경, 탁상 재질, 객체 인스턴스, 형태, 색상, 크기, 질감 등 장면 및 객체 속성을 다양하게 바꿉니다.
모든 모델은 동기식 추론을 사용하며 30 Hz로 행동을 실행합니다.
실제 환경 과업 성공률
논문에서는 쉬움 및 어려움 설정 각각에 대해 실제 환경 과업별 SR과 PSR, 그리고 평균을 보고합니다.
자주 묻는 질문
언어–비디오 사전학습에는 어떤 경험 소스가 사용되나요? 일반 비디오에는 OpenVid와 Panda70M을, 자기중심 시점 비디오에는 Ego4D, EgoVerse, EgoSuite를 사용합니다.
로봇 행동은 어떻게 표현하나요? 각 손은 16차원 양손 엔드이펙터 표현을 사용합니다. 여기에는 위치, wxyz 회전 쿼터니언, 그리퍼 값이 포함됩니다.
논문에서는 시연 궤적을 어떻게 필터링하나요? 행동 차원, 결측값과 유한하지 않은 값, 쿼터니언 유효성, 해당하는 경우 관절 각도, 포즈 변화, 움직임 여부를 확인합니다.
논문에서 언급한 한계와 향후 연구 방향은 무엇인가요? 이 방법은 복잡한 추론, 명시적인 다단계 계획, 장기 과업에 대한 지원이 제한적입니다. 저자들은 메모리 메커니즘과 계층적 계획을 연구할 계획입니다.