Los grandes modelos de lenguaje (LLM) se utilizan cada vez más como verificadores para evaluar la calidad de las salidas de otros sistemas de IA, pero los enfoques existentes suelen ser específicos de una tarea y carecen de generalidad. Presentamos LLM-como-Verificador, un marco de verificación de propósito general que puede aplicarse en diversos dominios, incluyendo generación de código, razonamiento matemático, planificación robótica y respuesta a preguntas. Nuestro enfoque utiliza un único LLM para producir evaluaciones de calidad detalladas mediante mecanismos de puntuación estructurados, logrando resultados de última generación en múltiples referencias sin ajuste específico de tarea.
Resumen del Método
El marco LLM-como-Verificador funciona generando tokens de puntuación que cuantifican la calidad de la salida en múltiples dimensiones. El verificador recibe tanto el prompt original como la salida candidata de un sistema propuesto, luego produce una evaluación estructurada que incluye puntuaciones de confianza, indicadores de error y rastros de razonamiento detallados.
Mecanismo de Verificación
El proceso de verificación central utiliza una función de puntuación que asigna puntuaciones de calidad a las salidas candidatas. Para modelos que exponen logprobs a nivel de token, el verificador calcula directamente las puntuaciones de evaluación a partir de las distribuciones de logits. Para modelos frontera que restringen el acceso a logits, el artículo describe una solución en dos etapas que separa el razonamiento de la puntuación para recuperar una señal de recompensa calibrada.
Resultados Experimentales
El marco fue evaluado en múltiples dominios, incluyendo optimización de código, razonamiento matemático y planificación de tareas robóticas. En tareas de verificación de código, LLM-como-Verificador superó significativamente tanto las líneas base de cero disparos como las de pocos disparos, logrando mayor precisión y exhaustividad en la detección de errores e ineficiencias.
Caso de Estudio: Optimización de Consultas SQL
En un caso de estudio detallado, el verificador se aplicó para optimizar consultas SQL contra la base de datos Open English Wordnet. Al sistema se le dio una consulta SQL no optimizada y se le pidió que produjera una versión equivalente pero más eficiente. El verificador identificó con éxito uniones redundantes, índices faltantes y un orden de filtros subóptimo, produciendo consultas que se ejecutaban significativamente más rápido mientras mantenían una salida idéntica.
Integración con Aprendizaje por Refuerzo
El marco puede servir como una señal de recompensa densa para sistemas de aprendizaje por refuerzo. Cuando se utiliza como modelo de recompensa, LLM-como-Verificador proporciona retroalimentación detallada en comparación con las recompensas binarias tradicionales de éxito/fracaso. Los experimentos mostraron que las políticas entrenadas con recompensas basadas en verificadores convergieron más rápido y lograron un rendimiento final más alto en múltiples tareas.
Recuperación de Recompensas de Modelos Restringidos
Un desafío práctico surge al usar modelos frontera como GPT-5.5 o Claude Opus 4.7 que no exponen logprobs a nivel de token a través de sus APIs públicas. El artículo describe una solución en dos etapas que primero genera rastros de razonamiento, luego usa un paso de puntuación separado para producir señales de recompensa calibradas a pesar de la restricción de logits.
Preguntas Frecuentes
¿Qué tipos de tareas puede manejar LLM-como-Verificador? El marco es de propósito general y se ha demostrado en tareas de generación de código, razonamiento matemático, planificación robótica y respuesta a preguntas.
¿Cómo maneja el marco los modelos que no exponen logprobs? Una solución en dos etapas separa el razonamiento de la puntuación, permitiendo recuperar señales de recompensa calibradas incluso de modelos frontera con restricción de logits.
¿Se puede usar esto como modelo de recompensa para aprendizaje por refuerzo? Sí, el marco proporciona señales de recompensa densas y detalladas que superan a las recompensas binarias tradicionales en el entrenamiento de RL.
¿Cómo se compara el rendimiento con los verificadores específicos de tarea? LLM-como-Verificador logra resultados de última generación en múltiples referencias sin requerir ningún ajuste o afinamiento específico de tarea.