RoboRMBench
RoboRMBench 用于评估：对于语义等价但表述不同的目标描述，语言条件奖励模型是否会为同一段机器人轨迹给出一致的分数。该基准将每段轨迹与同一目标的多种语言释义配对，在保持视觉证据和任务意图不变的前提下，衡量由指令措辞引起的奖励不稳定性。
问题定义
语言条件奖励模型根据文字目标描述，为机器人轨迹评估进度分数。令轨迹表示机器人状态与动作构成的序列，令释义集合表示针对同一底层目标的一组语义等价目标描述。对于每条描述，奖励模型都会输出一个预测进度分数。
由于轨迹和任务意图保持不变，具备释义鲁棒性的奖励模型应当在整个释义集合上给出稳定的预测。分数之间的差异应反映机器人行为的不同，而不应源于同一目标的措辞变化。RoboRMBench 通过固定轨迹、仅在经过验证的释义集合中改变目标描述，直接评估这一性质。
主要结果
许多通用视觉语言模型表现出较高的分数跨界率和失败率，说明奖励判断会因任务表述方式不同而发生显著变化。这种不稳定性并非轻微的数值波动：在对抗生成的释义下，Gemini2.5-flash-lite 和 Llama4-scout 等模型在超过一半的轨迹上跨越失败—成功边界。因此，同一种行为仅仅因为指令措辞不同，就可能被标记为成功或失败。
不稳定性通常还会随着语言差异程度的增加而上升。在大多数情况下，结构重写和对抗生成释义下的分数跨界率与失败率都高于词汇替换。这表明，相比词汇层面的变化，视觉语言模型对结构和视角层面的重写更加敏感。
例如，GPT-5.1 在词汇替换下的分数跨界率为 0.153，在结构重写下升至 0.204，在对抗生成释义下则升至 0.300。
补充分析
本研究通过比较启用推理和不启用推理的模型变体，考察显式推理能否缓解提示词差异带来的影响。主要分析比较了 Qwen3-vl-235B-A22B 的 Instruct 版和 Thinking 版，以及关闭和启用推理的 Gemini3-flash。
缓解方法
降低指令措辞敏感性的一种自然方法，是对文字表层形式进行平均消除。理想情况下，语言条件奖励模型应根据轨迹和底层任务意图估计奖励，同时对表达该意图的具体语义等价指令保持不变。具体而言，可以将释义视为同一任务意图的多种文字实现，并对模型在这些释义上的预测取平均，以近似实现这种不变性。
对于每段轨迹，评估集中的每条释义都会被视为一个种子提示词，并从中生成五个额外的语义等价变体。随后，对同一种子生成的各个变体对应的模型预测分数取平均，为每个种子提示词得到一个聚合奖励。该过程在保持轨迹和任务意图不变的同时，对局部措辞选择进行了边际化处理。
在所评估的模型和释义策略中，聚合都能持续降低分数跨界率和预测误差。然而，聚合只能部分缓解这一问题：它需要多次调用奖励模型，而且聚合后的预测仍然存在不可忽略的分数跨界。
结论
对于语义等价的目标描述，视觉语言奖励模型可能会为同一段轨迹赋予不同奖励。RoboRMBench 通过经过验证的释义和鲁棒性指标，衡量了这一失效模式。
在不同模型中，由释义引起的不稳定性普遍存在且程度严重；重写幅度越大，不稳定性越强；即使扩大模型规模或启用显式推理，这一问题仍然存在。它还会影响离线 best-of-n 选择：更稳定的模型能够选出真实进度更高的轨迹。这些发现表明，释义鲁棒性是实现可靠语言条件奖励建模的必要条件。
局限性
RoboRMBench 评估的是通过受控策略生成、并由大型语言模型验证器集成筛选语义等价性的任务描述释义下的奖励预测。该流程能够以可扩展的方式提供一致的释义质量，但基准中的所有指令均为英文。因此，多语言或代码混合环境下的释义鲁棒性尚未得到研究。
实验还主要关注回合结束时的奖励预测。其他奖励建模设置，例如步级奖励塑形或轨迹比较，可能呈现不同的鲁棒性特征。
致谢
本研究得到韩国政府科学技术信息通信部资助、由信息通信技术规划评估院（Institute of Information & Communications Technology Planning & Evaluation）管理的项目支持：
- RS-2026-25522885
- RS-2021-II211343, 面向物理 AI 系统训练与开发的世界基础模型研发
- RS-2020-II201361, 延世大学人工智能研究生院项目
本研究还得到首尔国立大学人工智能研究生院项目，以及韩国政府科学技术信息通信部资助的韩国国家研究基金会项目支持：
- RS-2026-25612350, 面向数学原理驱动的新一代 AI 架构与学习算法的端到端设计与验证框架研发
模型访问与 API 配置
对于专有模型和托管的开源模型，在条件允许时使用 OpenRouter Chat Completions API。通过 OpenRouter 评估的模型包括：
- GPT-4o
- GPT-5.1
- Gemini2.5-flash-lite
- Gemini2.5-flash
- Gemini3-flash
- Claude-haiku-4.5
- Claude-sonnet-4.6
- Qwen3-vl-2B、4B、8B 和 32B
- Qwen3-vl-235B-A22B
- Gemma3-4B、12B 和 27B
- Llama4-scout
- Llama4-maverick
RoboReward-4B 和 RoboReward-8B 使用公开发布的检查点和推理代码在本地进行评估。
除非另有说明，各模型系列均采用提供商或模型指定的采样配置，而不是强制使用统一的解码设置：
- OpenAI 模型：temperature = 1.0，top_p = 1.0
- Gemini 模型：temperature = 1.0，topP = 0.95
- Claude 模型：temperature = 1.0，top_p = 0.999
- Qwen3-vl 模型：temperature = 0.7，top_p = 0.8
- Gemma3 模型：temperature = 1.0，top_p = 0.95
- Llama 4 Scout 和 Maverick：temperature = 0.6，top_p = 0.9
对于本地评估的 RoboReward 模型，推理使用 PyTorch 2.5.1、Transformers 5.0.0、CUDA 12.1 和 bfloat16 精度。所有本地实验均在 NVIDIA L40S 48 GB GPU 上运行。除非公开发布的检查点另有规定，本地解码采用贪心生成：temperature = 0.0、do_sample = false，以及 max_new_tokens = 32。
输入构建与帧采样
每个评估样本由一段机器人轨迹、一条任务指令和一个五级序数尺度上的真实进度标签组成。对于每段轨迹，视觉输入保持不变，仅改变任务指令。因此，释义之间预测奖励分数的任何变化，都反映了模型对指令措辞的敏感性，而不是视觉证据的变化。
在整个回合时长内均匀采样每秒一帧，并始终包含第一帧和最后一帧。如果采样序列超过模型的图像容量，则在保留首尾帧的同时进行均匀下采样，以符合具体模型的限制。
奖励评分提示词
所有通用视觉语言模型均使用同一评分提示词模板进行查询。该提示词要求模型根据给定任务指令评估机器人轨迹的完成进度，并返回一个 1 到 5 之间的整数分数。
对于同一轨迹的所有释义，视觉帧以及除 {instruction} 之外的全部提示词文本均保持不变。
解码随机性与可重复性
主要实验对每个“轨迹—指令”组合仅调用模型一次。由于托管 API 可能采用提供商侧默认设置，且不同提供商无法保证完全确定性，因此，测得的不稳定性被解释为贴近实际部署的行为，而不是固定本地模型的纯确定性属性。
为验证释义引起的不稳定性是否超过普通重复调用造成的变化，我们在分层抽取的 300 个“轨迹—指令”组合子集上进行了可重复性分析。该子集在释义策略和真实进度标签之间保持均衡。每个选定组合都使用相同的视觉帧、提示词、API 配置和指令查询十次。
我们将同一指令下重复调用产生的变化，与同一轨迹不同释义之间的变化进行了比较。所有评估模型的平均重复调用标准差为 0.09，而跨释义标准差的平均值为 0.52。因此，释义引起的变化显著大于普通重复调用变化，是本次评估中奖励不稳定性的主要来源。
极差与标准差
我们还报告了跨释义预测极差和标准差，作为衡量分数离散程度的补充指标。这些统计量能够反映奖励预测的总体波动，但不能直接体现由分数跨界率衡量的类别层面矛盾。
模型可能在数值上仅有很小波动，却仍然出现失败—成功反转；也可能表现出更大的离散程度，却没有跨越失败—成功边界。这些现象表明，分数跨界率所捕捉的是释义鲁棒性的另一面，不能由数值波动完全替代。
其他推理模型结果
我们还评估了 GPT-5.1 和 Claude-sonnet-4.6 的启用推理变体。推理的影响取决于具体模型。
对于 GPT-5.1，启用推理会降低分数跨界率和平均误差，说明其鲁棒性与准确性有所提升。然而，对于 Claude-sonnet-4.6，推理会显著增加平均误差和分数跨界率，说明其对释义指令变得更加不稳定。
结合 Qwen3-vl 和 Gemini3-flash 的主要结果可以看出，显式推理并不能在不同模型之间稳定地提升释义鲁棒性。
常见问题
RoboRMBench 评估什么？ 它评估当目标通过语义等价的不同描述表达时，奖励模型是否会为同一段机器人轨迹给出一致分数。
为什么基准要使用释义？ 释义能够保持任务意图不变，同时检验指令措辞是否会改变模型的奖励预测。
显式推理是否能持续提升释义鲁棒性？ 不能。其效果取决于具体模型：对部分模型，它会提升鲁棒性；对另一些模型，则会加剧不稳定性。
释义聚合如何缓解奖励不稳定性？ 该方法为每个种子提示词生成五个额外的等价变体，并对其预测分数取平均，从而降低但无法消除不稳定性。