大型语言模型（LLM）越来越多地被用作验证器，用于评估其他AI系统输出的质量，但现有方法通常针对特定任务，缺乏通用性。我们提出了LLM-as-a-Verifier，一个通用验证框架，可应用于包括代码生成、数学推理、机器人规划和问答在内的多个领域。我们的方法使用单个LLM通过结构化评分机制生成细粒度的质量评估，在多个基准上无需特定任务调优即可达到最先进的结果。
方法概述
LLM-as-a-Verifier框架通过生成评分标记来量化输出质量的多个维度。验证器接收来自提案系统的原始提示和候选输出，然后生成包含置信度分数、错误标志和详细推理轨迹的结构化评估。
验证机制
核心验证过程使用一个评分函数，将候选输出映射到质量分数。对于暴露标记级对数概率的模型，验证器直接从逻辑分布中计算评估分数。对于限制逻辑访问的前沿模型，本文描述了一种两阶段变通方法，将推理与评分分离，以恢复经过校准的奖励信号。
实验结果
该框架在多个领域进行了评估，包括代码优化、数学推理和机器人任务规划。在代码验证任务中，LLM-as-a-Verifier显著优于零样本和少样本基线，在检测错误和低效方面实现了更高的精确率和召回率。
案例研究：SQL查询优化
在一个详细的案例研究中，验证器被应用于优化针对Open English Wordnet数据库的SQL查询。系统被给定一个未优化的SQL查询，并要求生成等效但更高效的版本。验证器成功识别了冗余连接、缺失索引和次优过滤顺序，生成了执行速度显著加快且输出相同的查询。
强化学习集成
该框架可以为强化学习系统提供密集的奖励信号。当用作奖励模型时，LLM-as-a-Verifier相比传统的二元成功/失败奖励提供了更细粒度的反馈。实验表明，使用基于验证器的奖励训练的策略在多个任务上收敛更快，最终性能更高。
从受限模型中恢复奖励
一个实际挑战出现在使用GPT-5.5或Claude Opus 4.7等前沿模型时，这些模型不通过公共API暴露标记级对数概率。本文描述了一种两阶段变通方法，首先生成推理轨迹，然后使用单独的评分步骤产生经过校准的奖励信号，尽管存在逻辑限制。
常见问题
LLM-as-a-Verifier可以处理哪些类型的任务？ 该框架是通用的，已在代码生成、数学推理、机器人规划和问答任务上得到验证。
框架如何处理不暴露对数概率的模型？ 采用两阶段变通方法，将推理与评分分离，从而即使从逻辑受限的前沿模型中也能恢复经过校准的奖励信号。
这可以用作强化学习的奖励模型吗？ 是的，该框架提供密集、细粒度的奖励信号，在强化学习训练中优于传统的二元奖励。
与任务特定验证器相比性能如何？ LLM-as-a-Verifier在多个基准上无需任何任务特定调优或微调即可达到最先进的结果。