智能体机器人系统为世界动作模型（WAM）提供了互补的结构：程序化框架负责选择可复用技能与工具，将其绑定到当前场景，跟踪进度，并根据观测变化重新规划。这种程序化表示将多步任务的结构明确呈现出来，指定调用哪些技能和工具、使用什么参数，以及按什么顺序调用。然而，智能体机器人学往往缺乏对真实世界物理动力学的预测性依据，也未能利用关于机器人行动将如何改变世界的学习模型。
我们倡导一种架构，将 WAM 的前瞻能力与动作执行能力，同智能体机器人学的认知效率、可复用技能以及未来自我改进的潜力结合起来。我们提出 AW-0，这是一种智能体 WAM 框架，通过基于代码的规划与生成，将其直接融入世界动作建模，并由一个具身代码专家提供支持。该框架利用广泛的编程先验，合成包含明确参数和控制逻辑的模块化技能。在混合 Transformer 架构中，代码引导同步的视频与控制模块，同时对离散代码结构、预测的视觉观测以及低层电机指令进行去噪。
我们的主要贡献是提出并实现了世界动作模型框架中的智能体机器人技能。我们证明，代码生成能够提升世界模型中的动作预测能力，而且从世界模型生成的代码可以在智能体框架中复用。具体贡献包括：一种混合 Transformer 框架，通过同时对代码、视频和控制信号进行去噪，将代码专家融入世界动作模型；一套用于程序标注与技能发现的自动化智能体流程；一个结构化技能程序数据集；以及一种混合执行策略，可在程序化技能调用与直接部署 WAM 动作专家生成的动作片段之间动态切换。
混合 Transformer 架构
代码专家
代码专家在预训练语言主干网络的基础上，加入冻结的 Qwen3-VL 视觉 Transformer，并采用 LLaDA 风格的掩码 Token 扩散方法。当前的多视角观测被编码为视觉 Token，并置于指令和程序 Token 之前，使技能规划能够以当前场景为依据。
视频与动作专家
视频专家使用由 Cosmos-Predict2.5 初始化的视频扩散 Transformer，对以观测帧为条件的 VAE 编码未来帧进行建模；另一个独立的动作扩散 Transformer 则生成连续动作片段。两个专家都通过交叉注意力接收语言嵌入，动作专家还会接收额外的机器人状态条件。
WAM 中的智能体代码生成
记忆缓存
由于单次观测往往不足以判断任务进度，代码专家会接收迄今生成的切片所组成的精简缓存。历史切片被压缩为一组可学习的记忆槽，并作为前缀 Token 在代码流中、提示词之前读入。训练期间，缓冲区保存此前经过标注的切片，并以指定概率替换为模型预测结果。推理时，缓冲区会在每个回合开始时重置，并随着每个解码切片逐步扩充。
混合动作
我们还探索了一种推理模式：按照 Code-as-Policies 方法，将解码出的代码切片交由感知与控制原语库执行。执行产生的动作会与动作专家的直接动作结合。部署时，两个通道会在每个重新规划节点进行仲裁：只有当解码切片通过一系列有效性和进度检查时，它才会接管当前阶段；否则，同一轮前向计算生成的动作片段会驱动机器人，直至下一次重新规划。
实验
我们在 RoboTwin 2.0 和八项真实世界任务上评估 AW-0，涵盖平行夹爪和灵巧手两种机器人形态。我们评估了语言指令跟随、语义推理和技能执行能力，以及混合执行在变化场景下带来的鲁棒性提升。
结论
我们提出了 AW-0，这是一种将基于代码的技能规划与预测动力学和连续控制相结合的智能体世界动作模型。通过联合去噪，代码专家为视频和动作生成提供结构化的语义引导。自动化标注流程使模型能够从大规模机器人和人类示范中学习这一规划接口。
在 RoboTwin 2.0 以及使用 YAM 和灵巧手开展的真实世界操作实验中，AW-0 在语言指令跟随、语义推理和技能执行方面均有提升，混合执行则进一步增强了鲁棒性。这些结果为技能复用以及程序化规划、世界预测与执行之间的迭代交互奠定了统一基础，也为智能体系统持续与环境交互并从中学习提供了潜在基础。
致谢
Zhuoyang Liu 感谢北京大学的 Shanghang Zhang 教授给予指导与支持。
AI 使用声明
我们在自动标注流程中使用 Gemini 3.1 Pro 和 Claude Code 搭配 Claude Opus 4.8，生成与示范对齐的程序标签，并提炼可复用的技能库。Claude Opus 4.8 还用于生成可执行程序，以收集仿真示范。此外，我们使用 GPT-6 Astra 进行语言润色和风格优化，并协助完成部分图表制作。
伦理声明
本研究使用机器人示范和第一人称视角的人类示范，研究代码引导的世界动作模型在机器人操作中的应用。所有预训练数据集均按照各自的许可协议和数据使用条款使用。所有后训练示范均由我们的团队针对本研究评估的任务采集。
预训练数据集统计
我们使用两个真实世界操作数据集的并集对 AW-0 进行预训练：YAM 和 Egocentric Human 数据。YAM 数据集包含 73,101 个回合，涵盖 279 项任务，共计 1,919.3 小时的双手机器人遥操作数据。示范以 30 Hz 录制，使用左腕、右腕和俯视 RGB 摄像头。
第一人称视角人类数据集包含 175,541 个回合，涵盖 327 项任务，共计 993.9 小时数据；数据由单个头戴式 RGB 摄像头录制，并包含跟踪到的手部运动，这些运动被重定向为每只手 22-DoF 灵巧手关节目标。两个数据源合计包含 248,642 个回合和 2,913.2 小时数据。人类摄像头视角会复制到三个输入槽中；每个训练窗口都与对应回合级指令及对齐的程序切片配对。
代码专家与语言指令跟随
我们进一步考察基于代码的规划能否提升预测视觉动力学与任务语义之间的对齐程度。我们比较 AW-0、自然语言子目标变体（Subgoal）以及不带规划流的模型（AW-0 without code）生成的右腕摄像头视频质量，指令为“整理水果，使左边的碗里最终只剩芒果”。该任务要求识别目标物体，并将预期结果落实为恰当的交互动作。三个变体在相同的任务和场景配置下进行评估，其初始观测来自不同回合，因此相似但并不完全相同。
预测结果呈现出明显不同的任务理解：AW-0 将交互动作指向芒果，而 Subgoal 在苹果与芒果之间的目标选择不明确，AW-0 without code 则以苹果为目标。这些观察表明，与单独使用自然语言子目标相比，结构化技能调用和明确的物体参数能为视频预测提供更具体的规划条件。代码流将指令语义与具体交互相连，有助于使预测动力学与预期任务保持一致。由于动作专家也以预测视频表示为条件，这种对齐为提升语言指令跟随能力提供了途径，并补充了主要实验中的执行结果。
代码专家与技能鲁棒性
我们进一步考察基于代码的规划能否提升对物理动力学的预测能力，以及精细操作中的技能鲁棒性。我们比较 AW-0、Subgoal 和 AW-0 without code 对右腕摄像头未来画面的预测，任务为 Deal Poker，重点关注右手将一张牌插入卡槽的最后阶段。该交互需要将手持卡牌与狭窄开口对齐并引导其插入，因此手、卡牌和卡槽之间的相对运动对于准确预测至关重要。三个变体接收来自同一回合相邻时间步的初始观测，这些观测彼此相似但并不完全相同。
预测结果呈现出明显不同的插入动作：AW-0 更准确地呈现了卡牌对齐卡槽并插入其中的过程；Subgoal 和 AW-0 without code 生成的插入序列则连贯性较差，手部及操作物体周围出现模糊和失真。这些观察表明，明确的技能调用和物体参数有助于视频专家更准确地预测手和卡牌相对于卡槽的运动。代码专家能够支持更准确的视频生成，从而为动作专家的精细操作提供更可靠的预测引导。
混合动作评估
“折叠并叠放毛巾”任务中的一个混合评估定性示例展示了一个从上排延续至下排的完整回合。灵巧的折叠动作主要由 AW-0 动作专家直接控制，而代码执行则负责处理更具结构性的动作，例如靠近并叠放毛巾。这些动作直接指明叠放顺序和运动方向，从而提升整个系统的语义推理能力。
低层原语
平行夹爪和灵巧手两种机器人形态共用十种语义接触动词，但其低层原语有所不同：夹爪使用末端执行器位姿，灵巧手则使用相对运动。每个 API 调用都会声明其产生的接触事件，使程序能够以示范数据为依据进行具身落地。
常见问题
AW-0 是什么？ AW-0 是一种将基于代码的技能规划与预测动力学和连续控制相结合的智能体世界动作模型。
AW-0 如何在规划中使用代码？ 具身代码专家会生成包含明确参数和控制逻辑的模块化技能，并对代码、视频和控制信号进行联合去噪。
AW-0 中的混合执行是什么？ 在每个重新规划节点，如果解码出的程序切片通过有效性和进度检查，就会接管控制；否则，由动作专家生成的动作片段控制机器人。
预训练使用了哪些数据集？ AW-0 使用 YAM 和 Egocentric Human 数据集进行预训练，二者合计包含 248,642 个回合和 2,913.2 小时数据。