引言
大型语言模型的关键突破，源于在多样化文本数据集上进行互联网规模的训练。通过学习人类语言的统一表征，这类模型打破了长期存在的性能瓶颈。如今，动作条件视频世界模型仍常常难以保持物理一致性，机器人学与计算机视觉领域因此面临一个关键问题：生成式视频模型能否通过跨具身数据规模化学习，获得可泛化的物理先验？还是说，不同机器人形态之间的异质性，必然要求采用针对特定智能体设计的架构？本研究探讨视频世界模型如何跨越不同具身形态之间的鸿沟，并分析实现这一目标必须克服的结构性瓶颈。
超越零样本：面向目标形态的数据高效适配
通过在大规模、多样化的机器人视频数据上训练，CLAP 的模型学会了可泛化的先验，从而能够高精度地预测动力学。不过，在目标具身形态上进行微调后，模型的零样本预测精度仍可进一步提升；这些目标形态既包括训练时见过的预训练具身形态，也包括全新的具身形态。借助微调，模型能够进一步校准已学习的先验，使其更好地适配目标具身形态。
新型具身形态
除了预训练阶段见过的具身形态，CLAP 还支持以较少数据将跨具身模型适配到全新的机器人形态。这些形态可能与训练数据中的机器人大相径庭，例如双臂机器人和人形机器人；它们通常具有更高维度的动作空间。
由于动作空间存在差异，微调模型时需要将原有动作头替换为与目标具身形态兼容的新动作头。关键在于，CLAP 会保留跨具身视频模型的其他全部组件，以保留丰富的时空先验。在微调过程中，CLAP 将这些底层先验与目标形态对齐，从而实现高保真度的动作条件未来预测。
超越零样本：CLAP 能否实现面向目标具身形态的数据高效适配？
我们评估了 CLAP 作为基础模型、通过少样本学习将视频世界模型适配到目标具身形态的有效性。评估主要围绕两个维度展开：预训练具身形态与新型具身形态。在每种设置下，我们都会移除动作头中与目标具身形态不兼容的组件，使其匹配目标具身形态原生的末端执行器动作空间，同时保留其余全部参数。
预备知识
视频世界模型以初始相机观测为起点，根据逐帧动作预测未来结果。此外，为了捕捉机器人速度等决定未来演化的时间信息，视频世界模型通常还会以过去观测序列作为条件。
文中省略的公式定义了模型所使用的历史窗口与预测时域。
潜在动作模型的其他结果
我们在跨具身数据集以及各个单具身子数据集（包括 Bridge 和 DROID）上训练潜在动作模型，并评估代理动作与真实轨迹之间的一致性。
我们将潜在动作模型用作逆动力学模型，从未见过的轨迹中提取潜在动作，再利用计算得到的潜在动作重建真实轨迹。我们在域内数据集的验证集和测试集上，将这些模型与 DreamDojo 逆动力学模型基线进行比较；相关数据集包括 Bridge、DROID 和 OXE-Mix。
我们还在以下留出数据集上评估模型。这些数据代表训练过程中未见过的数据：
austin_sailorutaustin_mutexberkeley_ur5stanford_hydra
这些数据集包含训练阶段未出现过的机器人形态，例如 UR5 机械臂。
细致总结
本节讨论 CLAP 在创新性方面的细节、更广泛的潜在影响，以及其论断的适用范围。
结论、局限性与未来工作
总的来说，本研究确立了跨具身学习在视频世界建模中的催化作用，这一作用与大型语言模型所经历的范式转变相映照。
安全、数据隐私与知情同意
本文介绍了推进机器人学人工智能基础研究的工作。由于本研究主要属于计算与理论研究，不涉及人类参与者、实时用户研究或个人身份信息，因此无需获得机构审查委员会的批准。
所有实验均使用公开可用的基准和开源数据集，并遵循各自适用的许可协议。尽管人工智能在机器人学中的广泛应用可能带来安全与社会层面的影响，作者并未预见任何直接、恶意或高风险的负面社会后果会特别源于这项基础算法研究。
致谢
作者感谢 Anirudha Majumdar 教授、Mingtong Zhang，以及 Princeton IRoM 实验室成员所给予的耐心、富有洞见的讨论与支持。
常见问题
什么是 CLAP？ CLAP 是一种跨具身视频世界模型框架，旨在从多样化的机器人视频数据中学习可泛化的物理先验。
视频世界模型预测什么？ 它们根据逐帧动作和初始相机观测预测未来结果，并通常利用过去观测序列捕捉时间信息。
CLAP 如何适配新型机器人具身形态？ CLAP 会将动作头替换为与目标具身形态兼容的动作头，同时保留预训练视频模型的其他组件。
潜在动作模型使用了哪些数据集进行评估？ 评估涵盖 Bridge、DROID、OXE-Mix，以及包括 austin_sailor、utaustin_mutex、berkeley_ur5 和 stanford_hydra 在内的留出数据集。