现有基于批评器的视觉—语言—动作强化学习方法，难以捕捉部分可观测环境中的时间结构。本文提出世界批评模型（World Critic Model，WCM），通过统一架构联合学习潜在状态预测与价值估计。在仿真环境中的 149 项任务和真实世界中的 7 项操作任务上进行的实验表明，该方法在分布内和分布外场景下都持续取得业界领先的性能。
实验设置
研究使用 WidowX-250S 平台评估了 7 项机器人任务，包括 1 项动态抓取任务、1 项长时程任务、2 项可变形物体操作任务和 3 项抓取放置任务。研究以 一种离策略强化学习算法 和 OpenVLA-OFT 作为基础策略，使用由世界批评模型引导的离策略强化学习训练模型。
泛化性能
泛化能力是评估 VLA-RL 的关键指标。研究在 ManiSkill-OOD 和 LIBERO-Plus 设置下进行了评测，并得出两项主要结论。
WCM 带来显著的泛化增益。 在 ManiSkill 上，WCM 同时提升了分布内性能和分布外泛化能力，优于传统的 Flow-SDE 和 PPO。此外，该方法还超过了以分布外性能强劲著称的 Step-NFT 基线。这得益于 WCM 能够捕捉更多状态信息，并在分布偏移下提供稳健的价值估计。
泛化能力优于 SFT。 在 LIBERO-Plus 中，以单样本监督微调为起点训练约 250 个强化学习步骤后，该方法的性能超过了使用 2 万条轨迹进行全量 SFT 训练的模型。
真实世界性能
真实世界实验表明，在物理机器人上进行有限数据训练时，WCM 依然有效且高效，所需数据规模仅为数百至数千条样本。在仅使用数百至数千条轨迹、训练时间不到一小时的情况下，WCM 便能实现快速迭代优化，并生成准确的批评器预测。
更长的观测历史是否总是更有利？
消融实验将 WCM 的观测历史长度设为 1 至 5 帧。结果显示，长度为 3 时平均表现最佳。一个直观的可能解释是：连续三帧能够隐式捕捉二阶动力学信息（加速度），而两帧只能捕捉一阶动力学信息（速度）。对于本研究测试的任务而言，一阶和二阶信息似乎已足以描述所需的动态特征。
推理吞吐量
研究在三个任务上评估了推理吞吐量：毛巾折叠、炉灶清洁和旋转寿司抓取，指标为每小时成功完成的轨迹数。
纯 SFT 模型的吞吐量最低，原因在于其初始成功率较低，动作执行效率也不高，常出现频繁停顿和幅度很小的动作，从而延长每条轨迹的执行时间。经过 RL 微调后，随着策略成功率提高、动作变得更加平滑，吞吐量显著提升。
在两个采用 RECAP 训练的变体中，使用基于 WCM 的批评器的模型在所有任务上都持续优于使用基于 Gemma VLM 的批评器的模型，说明批评器模型的选择会显著影响推理效率。
训练行为
研究记录了从第 0 步开始、直至每种设置在全部八种配置下达到报告最佳性能期间的训练曲线。大多数设置在训练过程中都呈现稳定提升，但不同配置的收敛速度和最终性能存在差异。对于 ManiSkill-OOD 和 LIBERO-Plus，由于测试设置与训练设置不同，报告的数值结果与训练曲线相比存在一定偏差；这些差异反映了分布偏移下的泛化差距。
结论
本文指出了现有基于批评器的 VLA-RL 方法的一项根本局限：从单帧观测或弱监督历史中估计价值，无法捕捉部分可观测环境下进行状态重建所需的时间结构。世界批评模型通过统一架构联合学习潜在状态预测与价值估计，解决了这一问题。在四个仿真基准的 149 项任务上进行的大规模实验表明，WCM 在分布内和分布外场景下都持续取得业界领先的性能，尤其在泛化能力方面提升显著。对七项真实世界操作任务的验证进一步证实了其稳定、高效的部署能力。
常见问题
什么是世界批评模型（WCM）？ WCM 是一种用于视觉—语言—动作强化学习的统一架构，联合学习潜在状态预测与价值估计。它解决了单帧价值估计在部分可观测环境下失效这一局限。
WCM 在分布外任务上的表现如何？ 在分布外基准测试中，WCM 持续优于 Flow-SDE、PPO 和 Step-NFT 等现有基线。在 LIBERO-Plus 中，仅经过 250 个强化学习训练步骤，其性能便超过了使用 2 万条轨迹进行全量 SFT 训练的模型。
什么样的观测历史长度效果最好？ 消融实验发现，长度为 3 帧的观测历史平均表现最佳。连续三帧能够隐式捕捉二阶动力学信息（加速度），对于测试的操作任务而言，这似乎已经足够。
WCM 在真实世界部署中的表现如何？ WCM 只需数百至数千条轨迹、不到一小时的训练时间，便能支持在物理机器人上进行有效的强化学习训练。此外，它还能生成动作更平滑、成功率更高的策略，从而提升推理吞吐量。