世界动作模型的规模化，根本上取决于具身经验的扩展，而不只是机器人轨迹数量的增加。然而，具身经验本质上具有高度异质性，来源包括第一视角人类视频、手持夹爪演示和机器人轨迹。这些数据在观测模态、动作表示、时间粒度和监督精度上存在显著差异，使统一的大规模预训练成为根本性挑战。
为应对这一挑战，我们构建了一套统一的具身数据基础设施，能够自动将异构具身经验转换为统一的动作级视频–状态–动作表示。该基础设施由三个紧密耦合的部分组成：多源具身经验采集、统一具身数据引擎，以及渐进式监督与多源数据平衡。三者共同生成了一个可规模化扩展的预训练语料库，包含超过数千小时的具身经验，覆盖数千种交互技能，为世界动作建模提供数据基础。
数据基础设施
世界动作模型的规模化，根本上取决于具身经验的扩展，而不只是机器人轨迹数量的增加。然而，具身经验本质上具有高度异质性，来源包括第一视角人类视频、手持夹爪演示和机器人轨迹。这些数据在观测模态、动作表示、时间粒度和监督精度上存在显著差异，使统一的大规模预训练成为根本性挑战。
为应对这一挑战，我们构建了一套统一的具身数据基础设施，能够自动将异构具身经验转换为统一的动作级视频–状态–动作表示。该基础设施由三个紧密耦合的部分组成：
- 多源具身经验采集
- 统一具身数据引擎
- 渐进式监督与多源数据平衡
三者共同生成了一个可规模化扩展的预训练语料库，包含超过数千小时的具身经验，覆盖数千种交互技能，为世界动作建模提供数据基础。
多源具身经验
三类数据源提供了互补的监督信号。第一视角人类视频涵盖最广泛的现实交互、以物体为中心的操作技能和长时程任务组合。手持夹爪与可穿戴设备演示提供结构化的末端执行器轨迹，能够自然地连接人类交互与机器人兼容控制。机器人轨迹则提供精确的特定具身状态，以及可直接执行的动作，为下游策略学习提供支持。
这些数据源并非相互冗余，而是彼此互补：
- 人类视频提供可规模化扩展的交互知识。
- 手持夹爪演示缩小人类与机器人之间的具身差距。
- 机器人轨迹提供可执行的控制监督。
三者共同构成了渐进式具身预训练的自然监督层级。
统一具身数据引擎
尽管三类数据源提供了互补的监督信号，但它们的原生格式存在根本差异。第一视角人类视频提供视觉观测和较弱的语言监督；手持夹爪演示提供结构化的末端执行器轨迹与夹爪状态；机器人数据集则在特定具身状态、动作空间、坐标系和控制频率方面存在显著差异。直接混合这些异构数据会造成监督不一致，并导致优化过程不稳定。
为统一异构具身经验，我们构建了统一具身数据引擎，将所有数据转换为由以下要素组成的通用动作级轨迹表示：
- 语言指令
- 具身身份
- 视觉观测
- 状态
- 动作
- 语义元数据
对于每种具身形式，状态流与动作流都会按照该具身形式的规范定义进行时间对齐、归一化和组织；同时，借助有效性掩码处理维度可变的动作，避免将不同具身形式强行纳入同一个物理动作空间。该统一表示为异构具身数据与世界动作建模目标之间提供了标准化接口。
不同于第一视角人类视频，手持夹爪演示和机器人轨迹本身已经包含结构化控制监督。因此，对它们的处理主要集中在时间对齐、动作归一化和轨迹质量筛选上。我们利用夹爪状态变化细化动作边界，并通过相机抖动过滤、静止末端执行器剔除和异常控制过滤进一步提升数据质量。
处理完成后，所有数据源都会在统一语义分类体系下转换为时间对齐的动作级视频–状态–动作轨迹，从而支持跨异构具身形式的规模化世界动作建模。
渐进式监督与数据平衡
处理后的语料库形成了一个监督强度逐步提升的连续谱，而不是简单地划分为有标签数据和无标签数据。大规模第一视角人类视频首先通过冻结的潜在动作模型生成伪动作，在提供广泛交互动态的同时提供较弱的动作监督。随后，带有重建三维手部轨迹的人类视频、手持夹爪演示和异构机器人轨迹，为视觉–动作对齐提供连续的真实动作监督。最后，高质量机器人轨迹进一步使模型专注于特定具身形式的动作预测和闭环策略执行。
这一监督层级与 Riemann-1.0 的三阶段训练课程天然匹配，使模型能够逐步从开放世界交互知识迁移到可执行的机器人控制。
原始语料库在数据源、场景、任务、技能、物体和机器人具身形式等维度上呈现严重的长尾分布。我们不直接平衡原始数据量，而是构建统一的语义分类体系，并在多个语义维度上进行语义感知采样。这一策略既保留了大规模人类数据集的规模优势，又确保模型能够充分接触长尾操作技能和数据资源有限的机器人具身形式。
总体而言，我们的数据基础设施将异构具身经验转化为可规模化扩展的世界动作建模监督来源，使世界动作模型能够通过扩展具身经验，而不只是增加机器人轨迹，持续提升性能。
训练方案
Rima-WAM 采用三阶段训练课程，逐步将监督信号从仅基于视频的伪动作转向真实动作轨迹。这一设计源于实际的数据不平衡：仅视频数据规模更大、视觉多样性更丰富，但缺少可执行的机器人动作；真实动作数据集规模较小，却能直接监督机器人行为。
三个阶段如下：
- 第一阶段使用冻结的潜在动作模型，为大规模无标签视频生成伪动作监督并进行训练。
- 第二阶段在由 UMI 演示、机器人轨迹以及带三维手部标注的人类视频组成的混合语料库上，对模型进行动作落地训练。
- 第三阶段继续使用高质量纯机器人数据训练，以提升可执行控制能力。
在所有阶段中，模型都优化相同的动作–视频目标。
预训练
第一阶段仅使用无标签的人类操作视频。由于这些视频包含丰富的视觉交互信息，却缺乏可执行的动作标签，我们首先训练一个潜在动作模型，然后将其冻结为伪动作标注器。
这一阶段旨在让 WAM 在获得真实机器人动作标签之前，接触大量操作动态。潜在动作模型通过迫使两帧之间的运动经过一个紧凑的潜在瓶颈来实现这一衔接，使推断出的潜在编码捕捉动作可能引发的底层视觉变化，并作为 WAM 训练的伪动作监督。
KL 项的权重被有意设置得较弱：它的作用是对潜在分布进行正则化，同时避免将过渡编码压缩成过于泛化的先验。训练完成后，我们使用后验均值，即模型预测的平均潜在表示，而不是采样得到的潜在变量作为确定性伪动作，从而在标注大规模视频语料库时消除采样噪声。
真实世界实验
完成大规模预训练后，我们通过真实机器人后训练，使 Riemann-1.0 进一步适应真实世界部署。我们在天机 Marvin 双臂机器人上构建了四个具有代表性的操作场景：
- 按顺序堆叠方块
- 折叠衣物
- 桌面整理
- 厨房整理
这些任务涵盖具有顺序约束的刚性物体堆叠、可变形物体操作、长时程桌面重排和长时程厨房收纳，组成了一套规模紧凑但颇具挑战性的家用机器人部署测试集。我们通过人类遥操作为每项任务采集了 15 条演示轨迹。
按顺序堆叠方块
在按顺序堆叠方块任务中，机器人需要根据语言指令识别不同颜色的方块，并按照指定颜色顺序组装四层方块堆。四层堆叠显著增加了任务难度：底层的细小对齐误差会在后续放置中逐步放大，任何一层错位都可能使整个方块堆失稳。
因此，该任务要求机器人准确识别物体颜色与姿态，规划抓取顺序，并精确完成抓取与放置。
折叠衣物
在折叠衣物任务中，机器人操作的是可变形衣物，而非刚性物体。衣物在接触过程中可能出现褶皱、拉伸和姿态漂移，因此机器人必须根据观测到的状态持续调整动作策略。
该任务重点考验可变形物体感知、双臂协调和细粒度接触控制能力。
桌面整理
在桌面整理任务中，机器人需要识别多个散落在桌面上的物体，并将它们重新摆放到指定位置。其中一个关键难点是将细长物体（如笔）插入笔筒。
这要求机器人准确感知笔的姿态和笔筒开口，利用笔筒边缘将笔重新调整至竖直姿态，然后控制夹爪完成精确插入。
厨房整理
在厨房整理任务中，机器人需要在厨房场景中完成端到端的收纳任务。它首先定位并抓取叉子、勺子等餐具，然后将其放回目标收纳区域。
机器人还必须抓取黄色和红色盘子，并将它们竖直插入沥水架；同时堆叠碗具，再将碗堆放到沥水架的上层。这一过程要求机器人在杂乱环境下完成长时程动作规划和稳定放置。
我们在相同的真实世界操作设置下，将 Riemann-1.0 与具有代表性的开源 VLA 和 WAM 基线进行比较，包括 DreamZero（一种世界模型基线）、LingBot-VLA、（另一种对比模型）LingBot-VA 和 G0.5。
对于 DreamZero，我们使用官方开源实现复现该模型，并在自行采集的大规模操作数据集上训练了一个 5B 规模的模型，记为 DreamZero*。
作为多具身模拟器的动作条件视觉展开
Riemann-1.0 还可以用作动作条件视觉模拟器。在这一模式下，模型并非只需输出一个可执行动作，而是接收当前视觉观测、任务提示、机器人状态和候选未来动作轨迹，然后预测执行该轨迹所产生的视觉后果。
动作轨迹采用与策略训练期间相同的特定具身动作接口表示，随后嵌入为动作 token，并插入因果动作–视频序列中。这些动作 token 会对视觉潜变量去噪过程施加条件，使生成帧与机器人运动相联系，而不是无条件地采样未来视频。
推理时，我们首先将当前观测编码到 VAE 潜在空间，并将其作为干净的视觉上下文。未来动作块可以由策略头提供、从候选计划中采样，或取自用于分析的记录轨迹。
在任务提示、状态、干净视觉上下文和动作 token 的条件下，潜在头会展开未来视觉潜变量；随后，这些潜变量被解码回 RGB 视频。对于更长的时间范围，可以将生成的或观测到的视觉输出追加到上下文中，并自回归地重复这一过程。
这使 Riemann-1.0 具备了数据驱动的模拟器接口：动作被视为可控输入，而未来相机观测则作为模拟结果生成。
常见问题
Riemann-1.0 的具身数据基础设施有什么作用？ 它将异构具身经验转换为统一的动作级视频–状态–动作表示，用于世界动作建模。
具身预训练使用了哪些数据源？ 该基础设施使用第一视角人类视频、手持夹爪与可穿戴设备演示，以及机器人轨迹。
Rima-WAM 的训练课程是什么？ 三个阶段依次从仅基于视频的伪动作监督，过渡到混合真实动作数据，最后使用高质量纯机器人数据训练。
Riemann-1.0 如何用作视觉模拟器？ 它接收视觉观测、任务提示、机器人状态和候选动作轨迹，然后预测执行这些动作所产生的视觉后果。