经过联合监督训练后，模型会生成动力学链（Chain-of-Dynamics，CoD）序列，并以此为条件预测未来视觉状态。然而，仅在教师强制的 CoD 条件下进行预测，并不能训练视觉语言模型（VLM）规划抵达目标未来状态所需的中间动力学。因此，ThinkWorld 根据想象的未来与观测到的未来之间的一致性，为采样得到的 CoD 赋予奖励，鼓励 VLM 推理其 CoD 所隐含的世界变化。由于该奖励只需观测到的状态转移，VLM 无需动作标签或执行候选动作，就能探索不同的 CoD，并从人类和机器人视频中学习。
通过世界想象扩展动力学链推理
基于世界想象的奖励塑形
对于每个候选 CoD，ThinkWorld 都会预测其未来视觉表征，并在潜空间中将其与观测到的未来进行比较。奖励采用运动增强特征相似度分数，对当前帧与未来帧之间变化较大的图像块赋予更高权重，以提升 DINO 特征的一致性。
该分数仍让完整场景均匀贡献奖励，以保持全局一致性，同时避免重复的背景区域主导奖励。运动加权仅使用观测帧，因此评分无需动作标注。
使用世界想象强化学习优化 CoD 推理
ThinkWorld旨在学习能够捕捉从当前场景通往目标未来状态之中间动力学的 CoD。为训练这一推理过程，模型会基于相同的视觉上下文采样不同的 CoD，并奖励想象的未来与观测到的未来最为吻合的 CoD。这些奖励使 ThinkWorld 能够探索可能从当前场景通向观测未来的不同 CoD，让被动采集的人类和机器人视频在没有动作标签或在线执行候选动作的情况下，为动作推理提供学习信号。
VLM 使用经归一化的世界想象奖励，通过组相对策略优化（GRPO）进行更新；同时，监督回放保留监督微调（SFT）阶段学到的运动落地能力。
通过比较想象的未来与观测到的未来，该阶段促使 VLM 在后续用于连续控制的表征中编码与动作相关的动力学。强化学习期间，其余所有组件均保持冻结；部署时既不需要生成 CoD，也不需要预测未来。完整的优化细节见附录 A.6。
实现细节
真实机器人实验设置
真实机器人评估使用一套双臂 YAM 系统，配备三台摄像机：一台全局俯视摄像机，以及每只手臂各一台腕部视角摄像机。训练和推理仅使用 RGB 观测。随后，将适配该具身形式的 ThinkWorld-YAM 模型用作初始化模型，以便高效地进行任务特定微调。更多实现和训练细节见附录。
分布偏移下的真实世界泛化
真实世界泛化评估在匹配的域内（ID）和分布外（OOD）设置下进行，涵盖三项操作任务：将杯子放到挂架上、颜色匹配和物体分拣。OOD 设置会改变物体颜色或类别；在某些情况下，还要求执行任务特定训练中未曾观察到的轨迹。
每项任务至少针对六种物体配置收集演示数据，并在 ID 和 OOD 条件下评估多种设置，每种设置进行五次试验。这些任务要求策略识别与任务相关的物体属性（例如颜色和类别），并据此调整运动。
结论
ThinkWorld是一种视觉-语言-动作（VLA）学习框架，通过结合世界想象的强化学习，学习可迁移的动力学链。通过将动作思维落地到其引发的世界变化，ThinkWorld 能够在人类与机器人具身之间学习通用表征，并将动作推理扩展到没有显式动作标注的视频。
实验表明，该方法能够有效实现从人到机器人的迁移，并对未见过的任务和环境展现出较强的泛化能力。这验证了从观测到的世界动力学中学习可迁移动作推理的有效性，也展现出利用多样化的人类和机器人经验扩展机器人学习的潜力。
模型配置
连续动作由一个基于 MolmoAct2 初始化的动作专家生成。该专家包含 36 个非因果 Transformer 块，隐藏宽度为 768，并以 FP32 运行。它设有最大动作张量大小；二维有效性掩码则将每个样本限制在其数据集原生的时间跨度和动作通道范围内。
该专家接收来自输入 token 的逐层 Qwen 键值特征；生成的 CoD token 和未来查询 token 不属于其直接上下文。
输入和输出配置
所有媒体都位于同一轮用户输入中的文本元数据之前。若有时间上下文，顺序为主视角历史帧、当前主视角，以及其余当前视角（按各自数据集定义的顺序排列）。历史帧最多包含 16 帧主视角图像，以 2 Hz 采样，并按时间从早到晚排列。当前主图像不会在历史帧中重复出现。
论文中展示了完整的 VLA 输入/输出模板。方括号括起的行是可选项；文本部分会渲染为一个规范化字符串，而不是多行文本。
真实机器人设置
使用 BimanualYAM 机器人系统采集实验室内数据集并评估训练好的策略。该系统由两条 YAM 机械臂和三台 RealSense D405 摄像机构成：一台提供俯视画面，另外两台分别安装在每只手臂的腕部。策略仅使用 RGB 观测。
策略推理在单台 NVIDIA RTX 3090 上运行。为适应推理延迟差异，每种策略均以相同的 15 Hz 控制频率接收查询并执行动作，其余系统组件则以 30 Hz 运行。对于每个预测的动作块，先执行前半部分，再利用最新观测重新规划。
补充 PCA 与注意力分析
补充的定性可视化拓展了正文中的分析。未来表征 PCA 和注意力可视化使用 Qwen 的第 24–27 层。PCA 和注意力仅用于描述性分析，不作为因果证据。
扩展的未来预测表征 PCA 可视化比较了五种 CoD 条件：原始 CoD、打乱的 CoD、空 CoD、来自另一片段的供体 CoD，以及无 CoD。该比较展示了预测的未来表征如何随 CoD 条件而变化。
扩展的 CoD 到输入观测注意力图还展示了从未来预测 token 指向输入观测的注意力。CoD 注意力通常集中于动态且与任务相关的区域，而未来预测注意力则更广泛地分布于整个场景。这一模式表明，CoD 侧重于与动作相关的局部变化，而未来预测会纳入更广泛的场景上下文。
推理效率
稳态 batch-1 策略延迟的测量未启用 CUDA 图捕获，而是采用即时推理，且不进行静态形状图设置。所有模型均在同一块 NVIDIA H100 80GB GPU 上测量，先进行五次预热调用，再进行 50 次经 CUDA 同步的计时调用。每个模型都使用其原生部署输入约定，因此测量反映的是实际策略延迟，而非输入完全相同的架构消融测试。
ThinkWorld 只在训练期间使用推理过程，以鼓励 VLM 学习更注重动作的表征。部署后的策略在推理时不执行这一过程，因此每次策略调用都无需承担额外的运行时计算。这种分离解释了训练时的推理如何在保持低推理延迟的同时，支持出色的任务表现。
常见问题
ThinkWorld通过世界想象学到了什么？ 它学习可迁移的动力学链，用以表征从当前场景通往目标未来状态的中间动力学。
ThinkWorld从视频中学习是否需要动作标签？ 不需要。其世界想象奖励会比较想象的未来与观测到的未来，因此可以在没有动作标注的情况下，从人类和机器人视频中学习。
真实世界评估使用了什么机器人系统？ 评估使用一套双臂 YAM 系统，配有两条手臂和三台 RealSense D405 摄像机。
部署后的策略会运行世界想象推理过程吗？ 不会。推理过程仅用于训练，部署时既不需要生成 CoD，也不需要预测未来。