推理模块
我们保留 Cosmos3 的自回归推理模块，不对其架构进行修改。该模块处理多模态观测和语言上下文，以支持具身理解、空间定位和任务规划。在视觉规划中，它以任务目标、初始观测和当前观测，以及先前的子任务历史为输入，预测下一个可执行子任务，并给出对预期视觉变化的详细描述及预计时长。这些输出为生成器提供结构化文本条件，明确指定预期交互及其持续时间。在多步推演过程中，每个生成片段的最后一帧都会成为后续推理更新后的观测，从而将子任务规划与先前预测的视觉结果联系起来。
视觉词元化与输入组织
对于视频生成，我们使用因果视频 VAE 对视觉输入进行编码，其空间和时间压缩因子分别为 16 和 4。随后将生成的潜变量按空间维度切分为视觉词元。场景记忆帧和主视频都采用这一路径进行 VAE 编码，并由生成器分支处理。
每个场景记忆帧都单独编码，生成一组表示其空间内容的视觉词元。因此，四个参考帧对应四组词元，每组词元的长度取决于帧分辨率。启用场景记忆时，这些词元组会置于推理模块的文本上下文之后、主视频词元之前。
在每个去噪步骤中，生成器通过现有注意力层处理记忆词元和主视频词元，同时关注推理模块的文本表示。因此，主视频可以直接利用场景参考信息，无需引入单独的记忆编码器或额外的交叉注意力模块。
跨片段场景记忆
长时程规划要求模型保留超出当前观测范围的视觉信息，尤其是在物体或场景区域离开视野时。我们保留四个参考帧，包括一个持续保留的初始观测、从较早历史中选出的两个关键帧，以及一个与最近步骤相关的参考帧。这种选择既能保留更广泛的场景信息，也能保留近期任务上下文。历史信息不足时，会从可用的历史片段中选择额外帧；在第一步，则重复使用初始观测来填满参考帧位置。在推演过程中，初始观测保持不变，而历史参考帧则根据生成的视频更新。
我们还使用来自前一片段的连续视频前缀，补充这些稀疏参考帧。与独立编码的记忆帧不同，这个前缀位于主视频时间序列的开头。前一片段的尾部与当前片段构成连续序列，共享的边界帧只包含一次。参考帧为场景外观和布局提供视觉锚点，而时间前缀则保留近期运动和交互上下文。两者共同构成跨片段场景记忆，支持连续的视觉预测。
生成模式与固定条件
我们通过在主视频序列中采用不同的视觉条件布局，支持三种生成模式。在图像转视频（I2V）生成中，第一个潜变量帧固定为经过编码的起始观测，模型则预测后续视频。在首尾帧转视频（FL2V）生成中，首帧和末帧潜变量都固定，为生成中间过渡提供边界条件。在跨片段视频续写中，初始潜变量帧固定为来自前一视频尾部的连续前缀，模型据此结合近期运动和交互上下文预测下一片段。在多步推演过程中，这个前缀从先前生成的视频中提取。
在这些模式中，场景记忆潜变量和主视频中的条件潜变量在整个去噪过程中保持固定。生成器在关注文本上下文和视觉条件的同时，更新视频中其余位置。训练时，只有需要预测的位置会计入生成损失。相同的条件接口既适用于观测到的视觉输入，也适用于模型自行生成的视觉输入，从而支持生成器微调中采用的自强制策略。
数据
论文指出，用于微调推理模块和生成器的数据汇总于表 3.1；所提供的文本未包含表格数据。
通用理解数据
为保持广泛的具身理解与推理能力，我们使用 RynnBrain 预训练语料库的 10% 子集作为理解数据的基础。对具身任务进行推理，需要模型理解任务意图、识别物体及其属性、理解空间关系，并追踪连续观测中的变化。这些能力对于长时程视觉规划尤为重要，因为每个子任务都必须以当前场景为依据，并结合后续操作加以考虑。它们也有助于理解与视频生成之间的交互：模型需要识别场景中与任务相关的部分，形成相应的视觉预测，并解读预测出的变化，以指导后续推理。
数据涵盖通用图像和视频理解、视觉问答、时间推理和指令遵循，以及物体理解、空间推理、计数和第一人称任务理解等具身认知任务。具备空间定位能力的监督数据还涵盖物体、区域和可供性定位、轨迹预测及操作规划，将语言指令与明确的位置和交互目标联系起来。我们将这些基础监督数据与视觉规划以及具身感知和推理数据相结合，以发展交错式视频—语言推理，同时保留广泛的理解能力。此组合旨在同时支持对具身问题的直接回答，以及对面向任务的视频预测所产生视觉证据的解读。
常见问题
推理模块在视觉规划中预测什么？ 它会预测下一个可执行子任务、对预期视觉变化的详细描述，以及预计时长。
场景记忆如何表示？ 它使用四个独立编码的参考帧，以及来自前一片段的连续视频前缀。
支持哪三种生成模式？ 分别为图像转视频、首尾帧转视频和跨片段视频续写。
哪些数据用于通用理解？ 数据包括 RynnBrain 预训练语料库的 10% 子集，涵盖通用理解、具身认知和具备空间定位能力的监督数据。