추론기
아키텍처를 수정하지 않고 Cosmos3의 자기회귀 추론기를 그대로 유지합니다. 추론기는 다중 모달 관측과 언어 맥락을 처리해 체화된 이해, 공간적 정합, 작업 계획을 지원합니다. 시각 계획에서는 작업 목표, 초기 및 현재 관측, 이전 하위 작업 이력을 입력으로 받아 다음에 실행 가능한 하위 작업과 예상되는 시각적 변화에 대한 상세 설명, 예상 소요 시간을 예측합니다. 이러한 출력은 의도된 상호작용과 그 시간적 범위를 명시하는 구조화된 텍스트 조건을 생성기에 제공합니다. 여러 단계의 롤아웃에서는 생성된 각 클립의 마지막 프레임이 다음 추론 단계의 업데이트된 관측이 되어, 하위 작업 계획을 이전 예측의 시각적 결과와 연결합니다.
시각 토큰화 및 입력 구성
비디오 생성을 위해 공간 및 시간 압축률이 각각 16과 4인 인과적 비디오 VAE를 사용해 시각 입력을 인코딩합니다. 생성된 잠재 표현은 공간적으로 패치 단위로 나뉘어 시각 토큰이 됩니다. 장면 메모리 프레임과 메인 비디오는 모두 이 VAE 처리 경로를 따르며 생성기 분기에서 처리됩니다.
각 장면 메모리 프레임은 독립적으로 인코딩되어 공간 정보를 나타내는 시각 토큰 그룹을 생성합니다. 따라서 참조 프레임 4개는 토큰 그룹 4개에 해당하며, 각 그룹의 길이는 프레임 해상도에 따라 달라집니다. 장면 메모리를 활성화하면 이 그룹들은 추론기의 텍스트 맥락 뒤, 메인 비디오 토큰 앞에 배치됩니다.
각 디노이징 단계에서 생성기는 기존 어텐션 레이어를 통해 메모리 토큰과 메인 비디오 토큰을 처리하면서 추론기의 텍스트 표현에 주의를 기울입니다. 따라서 별도의 메모리 인코더나 추가 교차 어텐션 모듈을 도입하지 않고도 메인 비디오가 장면 참조에 직접 접근할 수 있습니다.
청크 간 장면 메모리
장기 계획에서는 특히 객체나 장면 영역이 시야에서 벗어나는 경우, 모델이 현재 관측을 넘어 시각 정보를 유지해야 합니다. 지속적으로 유지되는 초기 관측, 이전 이력에서 선택한 키프레임 2개, 가장 최근 단계에 해당하는 참조 프레임으로 구성된 참조 프레임 4개를 유지합니다. 이 선택 방식은 전반적인 장면 범위와 최근 작업 맥락을 모두 보존합니다. 이력이 충분하지 않으면 사용 가능한 과거 클립에서 프레임을 추가로 선택하고, 첫 단계에서는 참조 슬롯을 채우기 위해 초기 관측을 반복합니다. 롤아웃 중에는 초기 관측을 고정해 두고, 생성된 비디오를 바탕으로 과거 참조 프레임을 업데이트합니다.
이러한 희소 참조 프레임에 더해 이전 청크의 연속 비디오 접두부를 사용합니다. 독립적으로 인코딩된 메모리 프레임과 달리, 이 접두부는 메인 비디오의 시간 순서에서 시작 부분을 차지합니다. 이전 구간의 마지막 부분과 현재 구간은 연속된 시퀀스를 이루며, 경계 프레임은 한 번만 포함됩니다. 참조 프레임은 장면의 외관과 배치를 위한 시각적 기준점 역할을 하고, 시간 접두부는 최근 움직임과 상호작용 맥락을 보존합니다. 두 요소가 함께 연속적인 시각 예측을 위한 청크 간 장면 메모리를 구성합니다.
생성 모드 및 고정 조건
메인 비디오 시퀀스 내 시각 조건을 다르게 배치해 세 가지 생성 모드를 지원합니다. 이미지-비디오(I2V) 생성에서는 첫 번째 잠재 프레임을 인코딩된 시작 관측에 고정하고, 모델이 그다음 비디오를 예측합니다. 첫 프레임 및 마지막 프레임-비디오(FL2V) 생성에서는 첫 번째와 마지막 잠재 프레임을 모두 고정해, 그 사이의 전환을 생성하기 위한 경계 조건을 제공합니다. 청크 간 비디오 이어 생성에서는 이전 비디오 마지막 부분의 연속 접두부에 초기 잠재 프레임을 고정해, 모델이 최근 움직임과 상호작용 맥락을 바탕으로 다음 구간을 예측하도록 합니다. 여러 단계의 롤아웃 중에는 이전에 생성된 비디오에서 이 접두부를 추출합니다.
이러한 모든 모드에서 장면 메모리 잠재 표현과 메인 비디오 내 조건화 잠재 표현은 디노이징이 진행되는 동안 고정된 상태를 유지합니다. 생성기는 텍스트 맥락과 시각 조건을 참고하면서 나머지 비디오 위치를 업데이트합니다. 학습 중에는 예측 대상 위치만 생성 손실에 반영됩니다. 동일한 조건 입력 인터페이스를 관측된 시각 입력과 자체 생성된 시각 입력 모두에 적용해, 생성기 미세 조정에 사용하는 자기 강제 전략을 지원합니다.
데이터
논문에 따르면 추론기와 생성기를 미세 조정하는 데 사용된 데이터는 표 3.1에 요약되어 있지만, 제공된 텍스트에는 표의 데이터가 포함되어 있지 않습니다.
일반 이해 데이터
광범위한 체화된 이해 및 추론 능력을 유지하기 위해 RynnBrain 사전 학습 코퍼스의 10% 하위 집합을 이해 데이터의 기반으로 사용합니다. 체화 작업을 추론하려면 모델이 작업 의도를 해석하고, 객체와 그 속성을 인식하고, 공간적 관계를 이해하며, 연속된 관측 간 변화를 추적해야 합니다. 이러한 능력은 각 하위 작업을 현재 장면에 근거해 수행하고 이후 작업과 관련지어야 하는 장기 시각 계획에서 특히 중요합니다. 또한 이해와 비디오 생성 간 상호작용도 뒷받침합니다. 모델은 작업과 관련된 장면 요소를 식별하고, 이에 맞는 시각적 예측을 구성하며, 예측된 변화를 해석해 후속 추론에 반영해야 합니다.
데이터에는 일반 이미지 및 비디오 이해, 시각 질의응답, 시간 추론, 지시 따르기와 함께 객체 이해, 공간 추론, 계수, 자기중심적 작업 이해를 포함하는 체화 인지 과제가 포함됩니다. 공간 정합을 위한 추가 감독에는 객체, 영역, 어포던스 위치 파악, 궤적 예측, 조작 계획이 포함되어 언어 지시를 명시적인 위치 및 상호작용 대상과 연결합니다. 이러한 기초 감독 데이터를 시각 계획 및 체화 지각·추론 데이터와 결합해, 폭넓은 이해 능력을 유지하면서 비디오와 언어를 교차하는 추론을 개발합니다. 이 조합은 체화 관련 질문에 직접 답하고 작업 중심 비디오 예측 중 생성된 시각적 근거를 해석하는 데 모두 도움이 되도록 설계되었습니다.
자주 묻는 질문
추론기는 시각 계획을 위해 무엇을 예측하나요? 다음에 실행 가능한 하위 작업, 예상되는 시각적 변화에 대한 상세 설명, 예상 소요 시간을 예측합니다.
장면 메모리는 어떻게 표현되나요? 독립적으로 인코딩된 참조 프레임 4개와 이전 청크의 연속 비디오 접두부를 사용합니다.
지원하는 세 가지 생성 모드는 무엇인가요? 이미지-비디오 생성, 첫 프레임 및 마지막 프레임-비디오 생성, 청크 간 비디오 이어 생성입니다.
일반 이해 데이터에는 어떤 데이터가 포함되나요? 일반 이해, 체화 인지, 공간 정합을 위한 감독 데이터를 포괄하는 RynnBrain 사전 학습 코퍼스의 10% 하위 집합이 포함됩니다.