RoboRMBench
RoboRMBench evalúa si los modelos de recompensa condicionados por lenguaje asignan puntuaciones coherentes a la misma trayectoria robótica cuando el objetivo se describe mediante formulaciones semánticamente equivalentes. El benchmark empareja cada trayectoria con paráfrasis lingüísticamente diversas del mismo objetivo, lo que permite medir la inestabilidad de las recompensas causada por la redacción de la instrucción, manteniendo constantes la evidencia visual y la intención de la tarea.
Formulación del problema
Un modelo de recompensa condicionado por lenguaje asigna una puntuación de progreso a una trayectoria robótica a partir de una descripción textual del objetivo. Sea la trayectoria la secuencia de estados y acciones del robot, y sea el conjunto de paráfrasis una colección de descripciones del objetivo semánticamente equivalentes para un mismo objetivo subyacente. Para cada descripción, el modelo de recompensa produce una puntuación de progreso predicha.
Dado que la trayectoria y la intención de la tarea permanecen fijas, un modelo de recompensa robusto ante paráfrasis debería producir predicciones estables en todo el conjunto de paráfrasis. Las variaciones entre puntuaciones deberían reflejar diferencias en el comportamiento del robot, no diferencias en la forma de expresar el mismo objetivo. RoboRMBench evalúa directamente esta propiedad manteniendo fija la trayectoria y variando únicamente la descripción del objetivo dentro de un conjunto de paráfrasis verificadas.
Resultados principales
Muchos modelos visión-lenguaje de propósito general presentan tasas elevadas de cruce de puntuaciones y de fallos, lo que indica que los juicios de recompensa pueden cambiar sustancialmente según cómo se formule la tarea. Esta inestabilidad no es una fluctuación numérica menor: ante paráfrasis generadas de forma adversarial, modelos como Gemini2.5-flash-lite y Llama4-scout cruzan el límite entre fallo y éxito en más de la mitad de las trayectorias. Por tanto, el mismo comportamiento puede etiquetarse como éxito o como fallo dependiendo únicamente de la redacción de la instrucción.
La inestabilidad también tiende a aumentar con el grado de divergencia lingüística. En la mayoría de los casos, las tasas de cruce de puntuaciones y de fallos son mayores con reescrituras estructurales y paráfrasis generadas de forma adversarial que con sustituciones léxicas. Esto sugiere que los modelos visión-lenguaje son más sensibles a las reescrituras estructurales y de perspectiva que a la variación léxica.
Por ejemplo, GPT-5.1 presenta una tasa de cruce de puntuaciones de 0.153 con sustituciones léxicas, que aumenta a 0.204 con reescrituras estructurales y a 0.300 con paráfrasis generadas de forma adversarial.
Análisis adicional
El estudio investiga si el razonamiento explícito reduce la variación causada por el prompt mediante la comparación de variantes con y sin razonamiento. El análisis principal compara las versiones Instruct y Thinking de Qwen3-vl-235B-A22B, así como Gemini3-flash con el razonamiento desactivado y activado.
Mitigación
Una forma natural de reducir la sensibilidad a la redacción de las instrucciones consiste en promediar la forma superficial del texto. Idealmente, un modelo de recompensa condicionado por lenguaje debería estimar la recompensa a partir de la trayectoria y de la intención subyacente de la tarea, manteniéndose invariante a la instrucción concreta que expresa esa intención. Esta invariancia se aproxima tratando las paráfrasis como distintas realizaciones textuales de una misma intención y promediando las predicciones del modelo entre ellas.
Para cada trayectoria, cada paráfrasis del conjunto de evaluación se trata como un prompt semilla, a partir del cual se generan cinco variantes semánticamente equivalentes adicionales. Después se promedian las puntuaciones predichas por el modelo para las variantes generadas a partir de una misma semilla, obteniendo una recompensa agregada para cada prompt semilla. Este procedimiento marginaliza las elecciones léxicas locales y mantiene fijas la trayectoria y la intención de la tarea.
La agregación reduce de forma sistemática tanto las tasas de cruce de puntuaciones como el error de predicción en los modelos y las estrategias de paráfrasis evaluados. No obstante, solo mitiga parcialmente el problema: requiere varias consultas al modelo de recompensa y las predicciones agregadas todavía presentan cruces de puntuaciones no despreciables.
Conclusión
Los modelos de recompensa visión-lenguaje pueden asignar recompensas distintas a una misma trayectoria cuando los objetivos se describen mediante formulaciones semánticamente equivalentes. RoboRMBench mide este modo de fallo mediante paráfrasis verificadas y métricas de robustez.
En los distintos modelos, la inestabilidad inducida por paráfrasis es generalizada y grave, empeora con reescrituras más profundas y persiste pese al aumento de escala o al razonamiento explícito. También afecta a la selección offline de best-of-n, en la que los modelos más estables eligen trayectorias con un progreso real mayor. Estos resultados establecen que la robustez ante paráfrasis es necesaria para un modelado fiable de recompensas condicionado por lenguaje.
Limitaciones
RoboRMBench evalúa predicciones de recompensa ante descripciones parafraseadas de las tareas, generadas mediante estrategias controladas y filtradas para verificar su equivalencia semántica por un conjunto de validadores basados en modelos de lenguaje grandes. Este proceso ofrece una calidad de paráfrasis escalable y coherente, pero todas las instrucciones del benchmark están en inglés. Por tanto, la robustez ante paráfrasis en contextos multilingües o con cambio de código no se ha examinado.
Los experimentos también se centran en predicciones de recompensa al final del episodio. Otros enfoques de modelado de recompensas, como el shaping a nivel de paso o la comparación de trayectorias, podrían presentar propiedades de robustez diferentes.
Agradecimientos
Este trabajo contó con el apoyo de las subvenciones del Institute of Information & Communications Technology Planning & Evaluation, financiadas por el Gobierno de Corea a través del Ministry of Science and ICT:
- RS-2026-25522885
- RS-2021-II211343, Development of a World Foundation Model for Training and Development of Physical AI Systems
- RS-2020-II201361, Artificial Intelligence Graduate School Program, Yonsei University
El trabajo también recibió el apoyo del Artificial Intelligence Graduate School Program de Seoul National University y de una subvención de la National Research Foundation of Korea, financiada por el Gobierno de Corea a través del Ministry of Science and ICT en 2026:
- RS-2026-25612350, Development of an End-to-End Design and Validation Framework for Mathematically Principled Next-Generation AI Architectures and Learning Algorithms
Acceso a los modelos y configuración de la API
Para los modelos propietarios y los modelos de código abierto alojados, se utilizó la API OpenRouter Chat Completions cuando estaba disponible. Los modelos evaluados mediante OpenRouter fueron:
- GPT-4o
- GPT-5.1
- Gemini2.5-flash-lite
- Gemini2.5-flash
- Gemini3-flash
- Claude-haiku-4.5
- Claude-sonnet-4.6
- Qwen3-vl-2B, 4B, 8B y 32B
- Qwen3-vl-235B-A22B
- Gemma3-4B, 12B y 27B
- Llama4-scout
- Llama4-maverick
RoboReward-4B y RoboReward-8B se evaluaron localmente utilizando sus checkpoints publicados y su código de inferencia.
Salvo que se indique lo contrario, se utilizó la configuración de muestreo especificada por el proveedor o el modelo para cada familia de modelos, en lugar de imponer una única configuración universal de decodificación:
- Modelos de OpenAI: temperature = 1.0 y top_p = 1.0
- Modelos Gemini: temperature = 1.0 y topP = 0.95
- Modelos Claude: temperature = 1.0 y top_p = 0.999
- Modelos Qwen3-vl: temperature = 0.7 y top_p = 0.8
- Modelos Gemma3: temperature = 1.0 y top_p = 0.95
- Llama 4 Scout y Maverick: temperature = 0.6 y top_p = 0.9
Para los modelos RoboReward evaluados localmente, la inferencia utilizó PyTorch 2.5.1, Transformers 5.0.0, CUDA 12.1 y precisión bfloat16. Todos los experimentos locales se ejecutaron en GPU NVIDIA L40S de 48 GB. Salvo que el checkpoint publicado especificara lo contrario, la decodificación local utilizó generación greedy con temperature = 0.0, do_sample = false y max_new_tokens = 32.
Construcción de entradas y muestreo de fotogramas
Cada ejemplo de evaluación consta de una trayectoria robótica, una instrucción de tarea y una etiqueta de progreso real en una escala ordinal de cinco puntos. Para cada trayectoria, la entrada visual se mantiene fija y solo varía la instrucción de la tarea. Por tanto, cualquier variación en las puntuaciones de recompensa predichas entre paráfrasis refleja la sensibilidad a la redacción de la instrucción, no cambios en la evidencia visual.
Se muestrea uniformemente un fotograma RGB por segundo a lo largo de la duración del episodio, incluyendo siempre el primer y el último fotograma. Si la secuencia muestreada supera la capacidad de imágenes de un modelo, los fotogramas se submuestrean uniformemente para ajustarse al límite específico del modelo, preservando el primero y el último.
Prompt de puntuación de recompensas
Todos los modelos visión-lenguaje de propósito general reciben consultas mediante la misma plantilla de prompt de puntuación. El prompt pide al modelo que evalúe el progreso de la trayectoria robótica con respecto a la instrucción de tarea proporcionada y devuelva una única puntuación entera del 1 al 5.
Para todas las paráfrasis de una misma trayectoria, los fotogramas visuales y todo el texto del prompt, salvo {instruction}, se mantienen fijos.
Estocasticidad y repetibilidad de la decodificación
Los experimentos principales utilizan una llamada al modelo por cada par trayectoria–instrucción. Dado que las API alojadas pueden aplicar valores predeterminados del proveedor y que no se garantiza un determinismo exacto entre proveedores, la inestabilidad medida se interpreta como un comportamiento realista en producción y no como una propiedad puramente determinista de un modelo local fijo.
Para verificar que la inestabilidad inducida por las paráfrasis supera la variación habitual entre llamadas repetidas, se realizó un análisis de repetibilidad sobre un subconjunto estratificado de 300 pares trayectoria–instrucción. El subconjunto estaba equilibrado entre estrategias de paráfrasis y etiquetas de progreso real. Cada par seleccionado se consultó diez veces utilizando los mismos fotogramas visuales, prompt, configuración de la API e instrucción.
La variación entre llamadas repetidas con la misma instrucción se comparó con la variación entre paráfrasis de una misma trayectoria. La desviación estándar media de las llamadas repetidas en todos los modelos evaluados fue de 0.09, mientras que la desviación estándar media entre paráfrasis fue de 0.52. Por tanto, la variación inducida por las paráfrasis fue sustancialmente mayor que la variación habitual entre llamadas repetidas y constituyó la fuente dominante de inestabilidad de las recompensas en la evaluación.
Rango y desviación estándar
También se informó del rango de las predicciones y de la desviación estándar entre paráfrasis como medidas complementarias de la dispersión de las puntuaciones. Estas estadísticas capturan la variabilidad global de las predicciones de recompensa, pero no reflejan directamente las contradicciones entre categorías que mide la tasa de cruce de puntuaciones.
Un modelo puede mostrar una variabilidad numérica pequeña y aun así producir inversiones entre fallo y éxito, o presentar una dispersión mayor sin cruzar el límite entre fallo y éxito. Estas observaciones sugieren que la tasa de cruce de puntuaciones captura un aspecto diferente de la robustez ante paráfrasis, más allá de la variabilidad numérica.
Resultados adicionales de los modelos con razonamiento
También se evaluaron las variantes con razonamiento de GPT-5.1 y Claude-sonnet-4.6. El efecto del razonamiento depende del modelo.
En GPT-5.1, activar el razonamiento reduce tanto la tasa de cruce de puntuaciones como el error medio, lo que indica una mejora de la robustez y la precisión. En Claude-sonnet-4.6, sin embargo, el razonamiento aumenta considerablemente el error medio y la tasa de cruce de puntuaciones, lo que indica una mayor inestabilidad ante instrucciones parafraseadas.
Junto con los resultados principales de Qwen3-vl y Gemini3-flash, estas comparaciones muestran que el razonamiento explícito no mejora de forma consistente la robustez ante paráfrasis en todos los modelos.
Preguntas frecuentes
¿Qué evalúa RoboRMBench? Evalúa si los modelos de recompensa asignan puntuaciones coherentes a una misma trayectoria robótica cuando el objetivo se expresa mediante descripciones semánticamente equivalentes.
¿Por qué se utilizan paráfrasis en el benchmark? Las paráfrasis mantienen fija la intención de la tarea y permiten comprobar si la redacción de la instrucción modifica la predicción de recompensa del modelo.
¿El razonamiento explícito mejora de forma consistente la robustez ante paráfrasis? No. Su efecto depende del modelo: mejora la robustez en algunos modelos, pero aumenta la inestabilidad en otros.
¿Cómo mitiga la agregación de paráfrasis la inestabilidad de las recompensas? El método genera cinco variantes equivalentes adicionales para cada prompt semilla y promedia sus puntuaciones predichas, reduciendo la inestabilidad, aunque sin eliminarla.