Los métodos existentes de aprendizaje por refuerzo visión-lenguaje-acción basados en críticos tienen dificultades para capturar la estructura temporal en entornos parcialmente observables. Este trabajo presenta el World Critic Model (WCM), una arquitectura unificada que aprende conjuntamente a predecir el estado latente y a estimar el valor. Los experimentos realizados en 149 tareas de simulación y siete tareas de manipulación en el mundo real demuestran un rendimiento de vanguardia constante, tanto en escenarios dentro de la distribución como fuera de ella.
Configuración experimental
Las evaluaciones se llevaron a cabo en siete tareas robóticas con la plataforma WidowX-250S, que abarcan una tarea de agarre dinámico, una tarea de horizonte largo, dos tareas de manipulación de objetos deformables y tres tareas de recoger y colocar. Utilizando un algoritmo de aprendizaje por refuerzo off-policy y OpenVLA-OFT como políticas base, los modelos se entrenaron mediante aprendizaje por refuerzo off-policy guiado por el World Critic Model.
Rendimiento de generalización
La generalización es un criterio de evaluación clave en VLA-RL. El método se evaluó en el escenario ManiSkill-OOD y en LIBERO-Plus, con dos resultados principales.
El WCM ofrece grandes mejoras de generalización. En ManiSkill, el WCM mejora tanto el rendimiento dentro de la distribución como la generalización fuera de ella, y supera a Flow-SDE y PPO tradicionales. Además, el método supera a la línea base Step-NFT, conocida por su sólido rendimiento OOD, gracias a la capacidad del WCM para capturar más información del estado y proporcionar estimaciones de valor robustas ante cambios en la distribución.
Mayor generalización que SFT. En LIBERO-Plus, partiendo de un ajuste fino supervisado one-shot, el método supera, después de aproximadamente 250 pasos de entrenamiento RL, al SFT full-shot entrenado con 20.000 trayectorias.
Rendimiento en el mundo real
Los experimentos en el mundo real demuestran la eficacia y eficiencia del WCM durante el entrenamiento con datos limitados en robots físicos, trabajando con entre cientos y unos pocos miles de muestras de datos. Con solo entre cientos y unos pocos miles de trayectorias y menos de una hora de entrenamiento, el WCM permite perfeccionar rápidamente el modelo de forma iterativa y produce predicciones precisas del crítico.
¿Una historia de observaciones más larga siempre es beneficiosa?
Un estudio de ablación varió de 1 a 5 fotogramas la longitud de la historia de observaciones del WCM. La longitud 3 obtuvo el mejor rendimiento medio. Una explicación intuitiva plausible es que tres fotogramas consecutivos pueden capturar implícitamente dinámicas de segundo orden —la aceleración—, mientras que dos fotogramas capturan dinámicas de primer orden —la velocidad—. En las tareas evaluadas, la información de primer y segundo orden parece suficiente para describir las características dinámicas necesarias.
Rendimiento de inferencia
El rendimiento de inferencia se evaluó en tres tareas: doblar una toalla, limpiar una encimera y recoger sushi giratorio. La métrica fue el número de ejecuciones exitosas por hora.
El modelo entrenado únicamente con SFT ofrece el menor rendimiento, debido a su baja tasa de éxito inicial y a una ejecución ineficiente de las acciones, caracterizada por pausas frecuentes y movimientos de pequeña magnitud que alargan cada ejecución. Tras el ajuste fino con RL, el rendimiento mejora considerablemente, ya que la política alcanza más éxitos y ejecuta movimientos más fluidos.
Entre las dos variantes entrenadas con RECAP, el modelo que utiliza el crítico basado en WCM supera de forma constante a la variante con crítico basado en Gemma VLM en todas las tareas, lo que indica que la elección del modelo crítico influye notablemente en la eficiencia de la inferencia.
Comportamiento durante el entrenamiento
Se registraron las curvas de entrenamiento desde el paso 0 hasta que cada configuración alcanzó su rendimiento óptimo informado, en las ocho configuraciones. La mayoría de los ajustes muestra una mejora estable a lo largo de los pasos de entrenamiento, aunque la velocidad de convergencia y el rendimiento final varían entre configuraciones. En ManiSkill-OOD y LIBERO-Plus, como las configuraciones de prueba difieren de las de entrenamiento, los resultados numéricos informados presentan ciertas discrepancias respecto a las curvas de entrenamiento; estas diferencias reflejan la brecha de generalización provocada por el cambio de distribución.
Conclusión
Este trabajo identifica una limitación fundamental de los métodos VLA-RL existentes basados en críticos: la estimación del valor a partir de observaciones de un solo fotograma o de historiales con supervisión débil no logra capturar la estructura temporal necesaria para reconstruir el estado en condiciones de observabilidad parcial. El World Critic Model aborda este problema mediante una arquitectura unificada que aprende conjuntamente a predecir el estado latente y a estimar el valor. Los experimentos exhaustivos en 149 tareas de cuatro benchmarks de simulación demuestran que el WCM alcanza de forma constante un rendimiento de vanguardia, tanto dentro como fuera de la distribución, con mejoras especialmente notables en generalización. La validación en siete tareas de manipulación en el mundo real confirma su despliegue estable y eficaz.
Preguntas frecuentes
¿Qué es el World Critic Model (WCM)? El WCM es una arquitectura unificada para el aprendizaje por refuerzo visión-lenguaje-acción que aprende conjuntamente a predecir el estado latente y a estimar el valor. Aborda la limitación de la estimación del valor a partir de un solo fotograma, que falla bajo observabilidad parcial.
¿Cómo se comporta el WCM en tareas fuera de distribución? El WCM supera de forma constante a las líneas base existentes, incluidas Flow-SDE, PPO y Step-NFT, en benchmarks OOD. En LIBERO-Plus, supera al SFT full-shot entrenado con 20.000 trayectorias después de solo 250 pasos de entrenamiento RL.
¿Qué longitud de historia de observaciones funciona mejor? Un estudio de ablación determinó que una historia de 3 fotogramas ofrece el mejor rendimiento medio. Tres fotogramas consecutivos capturan implícitamente dinámicas de segundo orden —la aceleración—, lo que parece suficiente para las tareas de manipulación evaluadas.
¿Cómo se comporta el WCM en el despliegue en el mundo real? El WCM permite entrenar eficazmente mediante RL en robots físicos con solo entre cientos y unos pocos miles de trayectorias y menos de una hora de entrenamiento. También mejora el rendimiento de inferencia al producir políticas más fluidas y exitosas.