Grana aprende a seleccionar la subtarea pendiente y predecir su progreso local, y después combina estos resultados para estimar el progreso de toda la tarea. El mismo modelo condicionado por lenguaje se preentrena principalmente con tareas cortas y se reutiliza en composiciones más largas. Sus objetivos de progreso tienen en cuenta tanto la calidad de la ejecución como la posición de la subtarea evaluada en la secuencia de tareas.
Predicción del progreso a través de las subtareas
A partir de observaciones de cámara, una descripción de la tarea y su secuencia de subtareas, Grana selecciona la subtarea pendiente y predice su progreso local. La secuencia proporcionada especifica el orden de ejecución preferido por el usuario y la granularidad de la evaluación. Las descripciones de las subtareas son entradas de lenguaje para un predictor compartido; su orden y cantidad no están codificados de forma rígida en la arquitectura. Por tanto, se puede consultar la misma tarea con distintos órdenes válidos o con descomposiciones más generales o más detalladas. El entrenamiento o la adaptación utilizan supervisión definida según la especificación elegida, mientras que la inferencia se condiciona a la lista proporcionada. El progreso de toda la tarea mide la finalización con respecto a este procedimiento especificado por el usuario.
Seis subtareas completadas y un progreso del 50% en la séptima dan como resultado un progreso de toda la tarea igual a la suma del número de subtareas completadas y el progreso local, dividida por el número total de subtareas. Si el progreso local cae a cero, la estimación pasa a ser el número de subtareas completadas dividido por el número total de subtareas. Esta composición supone que las subtareas anteriores siguen completadas tras un fallo local; una selección incorrecta aún puede distorsionar la estimación.
En nuestro modelo, la selección de subtareas y la predicción del progreso comparten un VLM que procesa observaciones multivista muestreadas a lo largo del tiempo, lo que aporta contexto para distinguir un intento fallido de su recuperación. Un transformador temporal combina características para predecir el progreso local mediante una capa de salida compartida. La agregación temporal puede utilizar observaciones posteriores. En nuestros experimentos de aprendizaje de políticas, puntuamos trayectorias registradas de forma offline.

Supervisión para ejecuciones imperfectas
Seleccionar la subtarea correcta no revela cuánto se ha completado. El tiempo transcurrido avanza tanto durante una inserción exitosa como durante repetidos intentos desalineados, pero estas ejecuciones deberían recibir distintos objetivos de progreso. Por ello, combinamos anotaciones de subtareas con juicios sobre la calidad local de la acción (AQ). Las anotaciones de subtareas identifican el trabajo completado. Los juicios de AQ describen los contratiempos y la recuperación dentro de la subtarea pendiente.
Los anotadores marcan los límites entre subtareas y los intervalos de ejecución subóptima o con retroceso; los intervalos sin marcar son nominales. La ejecución nominal sigue la tarea con normalidad. La ejecución subóptima está degradada, pero no presenta fallos físicos, como cuando un tornillo desalineado sigue sujeto. La ejecución con retroceso pierde progreso local debido a un fallo físico, como dejar caer el tornillo. Por separado, cada subtarea recibe un resultado binario: 1 si se completa con éxito y 0 si falla. Estos resultados describen cómo termina la subtarea: una subtarea completada aún puede contener intervalos con retroceso seguidos de recuperación.
Las anotaciones definen un objetivo de progreso local basado en la calidad de la acción y el resultado de la subtarea, sin necesidad de puntuaciones numéricas para cada fotograma. Dentro de cada intento ininterrumpido, distribuimos el progreso según la calidad de la acción, asignando incrementos mayores a los fotogramas nominales que a los subóptimos. En una subtarea exitosa con reintentos, el retroceso restablece el progreso local a cero y un intento posterior lo reconstruye. El resultado binario ancla el objetivo final de progreso local.
Entrenamiento de la selección de subtareas y la predicción del progreso
Como Grana selecciona sus propias subtareas, el entrenamiento del progreso debe tener en cuenta la posibilidad de que se elija una descripción incorrecta. Por ejemplo, si la inserción solo está parcialmente completa, pero el modelo selecciona el ajuste, el ajuste debería recibir un progreso de cero, no el progreso parcial de la inserción. Usamos el orden de las tareas para definir el objetivo de cada subtarea consultada: las subtareas anteriores ya completadas reciben uno, la subtarea pendiente anotada recibe su progreso local y las subtareas posteriores reciben cero.
Implementamos el predictor compartido con Qwen3.5-4B y LoRA; entrenamos los adaptadores, el transformador temporal y la capa de progreso, mientras mantenemos congelado el VLM base. La selección y el progreso utilizan objetivos de entropía cruzada. Para entrenar el progreso, los objetivos escalares se codifican como distribuciones sobre intervalos contiguos; la capa predice una distribución cuya media proporciona una estimación continua del progreso. Ambos objetivos asignan mayor peso a las predicciones más alejadas del objetivo. El preentrenamiento y la adaptación conservan la misma arquitectura e interfaz de lenguaje. En la inferencia, el modelo recibe observaciones, la descripción y la lista de subtareas, sin entradas de anotación.
Uso del progreso para el aprendizaje de políticas
Las diferencias de progreso proporcionan información sobre las acciones registradas: un aumento indica avance, mientras que una disminución indica un contratiempo. Utilizamos estas diferencias de dos maneras, manteniendo fijo el procedimiento de conversión entre modelos de recompensa en cada comparación.
Experimentos
Nuestros experimentos abordan cuatro preguntas:
- Supervisión: ¿Pueden las anotaciones estructuradas de subtareas y calidad proporcionar una supervisión del progreso práctica y útil?
- Generalización: ¿Hasta qué punto generaliza Grana entre tareas, horizontes, configuraciones físicas y conjuntos de datos?
- Preentrenamiento y composición: ¿Cómo mejora el preentrenamiento del modelo de recompensa la adaptación a largo plazo y la composición de subtareas mejora la predicción del progreso tanto en Grana como en un VLM de vanguardia como GPT-6 Astra?
- Aprendizaje de políticas: ¿Mejoran las estimaciones de progreso resultantes el aprendizaje posterior de políticas?
Configuración experimental
Los experimentos de políticas utilizan el modelo de acciones en el mundo GR00T-2, manteniendo fijos la inicialización, los datos y el procedimiento de aprendizaje dentro de cada tarea y comparación, y variando los modelos de recompensa.
Predicción de recompensas y generalización
Evaluamos la predicción sin entrenamiento específico en tareas de prueba no vistas, la adaptación a tareas más largas y a una configuración física diferente, y la clasificación de trayectorias completas en un benchmark público.
En las 50 tareas de prueba no vistas, sin etiquetas de recompensa para las tareas objetivo ni ajuste fino, Grana logra un RMSE de 0.180 frente a 0.227 para la línea base más sólida, RoboMeter, una reducción del 20.7%. Aumentar el preentrenamiento de 15 a 200 tareas reduce el RMSE en tareas no vistas en un 35.3%.

Composición de subtareas y predicción del progreso
Evaluamos si la composición de subtareas mejora la predicción del progreso y, a continuación, examinamos el papel de la selección de subtareas y la predicción del progreso local.
En el ensamblaje de un modelo de avión, los predictores directos de toda la tarea y los composicionales parten del Qwen base, sin preentrenamiento del modelo de recompensa, y utilizan presupuestos de adaptación equivalentes. La selección automática de subtareas y la composición del progreso local reducen el RMSE en un 17.3% con D15 y un 13.4% con D100, incluidos los errores de selección.
En el ensamblaje sin entrenamiento específico de un modelo de coche, la composición reduce el RMSE acumulado de 1.578 a 0.524 para GPT-6 y en un 32.4% para Qwen3.5-4B base. Estas mejoras muestran que la composición de subtareas propuesta mejora la predicción del progreso en ambos modelos.
Mejora de las políticas posteriores
Evaluamos si el progreso predicho mejora las políticas mediante aprendizaje por refuerzo offline e imitación de comportamiento ponderada por el progreso. El apéndice E también presenta control predictivo basado en modelos en tiempo de prueba en el ensamblaje de un tractor, donde Grana decide cuándo planificar y selecciona entre futuros imaginados.
Cada fuente de recompensa puntúa las mismas ejecuciones de la política BC en dos tareas de prueba no vistas: 50 para la inserción de estrellas (una subtarea) y 45 para la transferencia de tubos de una caja a un estante (tres subtareas). Convertimos el progreso predicho en recompensas con la misma regla para todos los modelos de recompensa. Estas recompensas supervisan el aprendizaje del crítico IQL, seguido de actualizaciones del actor BPPO. «Sin entrenamiento específico» significa que los modelos de recompensa no reciben anotaciones de recompensa de la tarea objetivo; las políticas se entrenan con ejecuciones puntuadas de dicha tarea.

Agradecimientos
Utilizamos IA, incluidos GPT-6 Astra, Claude Fable 5 y Opus 5, para pulir el lenguaje, mejorar la claridad de presentación de todas las figuras y ayudar con la implementación del código.
Selección de parámetros y ejemplo práctico
El ejemplo de inserción del ensamblaje del avión corresponde a la subtarea 7 de 9. Seis subtareas ya están completas, por lo que el objetivo de progreso de toda la tarea es la suma del número de subtareas completadas y el progreso local, dividida por el número total de subtareas. El ejemplo contiene 1,117 muestras sincronizadas a 30 fotogramas por segundo, indexadas de 0 a 1,116. El primer intento es nominal hasta el fotograma 249; los fotogramas 250–820 muestran retroceso; los fotogramas 821–1,116 muestran una recuperación nominal que culmina en un resultado exitoso.
Métricas de consistencia del progreso
Los episodios de prueba de los modelos de avión y coche se puntúan con el progreso de toda la tarea, calculado como el progreso acumulado de las subtareas dividido por el número total de subtareas y promediado entre las cuatro vistas de cámara, a aproximadamente 1 Hz. Ambas métricas utilizan las anotaciones humanas de estos episodios.
Los anotadores marcan fotogramas clave de ejecución de alta y baja calidad dentro de cada subtarea. Para cada par de fotogramas clave de alta y baja calidad de la misma subtarea en episodios distintos, tomamos la puntuación del punto de evaluación más cercano a cada fotograma clave (dentro de 0.5 s). Q-Rank es el porcentaje de pares en los que el fotograma clave de alta calidad obtiene una puntuación estrictamente mayor. Las puntuaciones aleatorias independientes extraídas de la misma distribución continua sitúan cualquiera de los dos fotogramas por encima con igual probabilidad, lo que da un Q-Rank de 50 en promedio. Los pares incluyen 12 fotogramas clave de baja calidad por tarea.
Entrenamiento e inferencia
El preentrenamiento y la adaptación utilizan los objetivos descritos anteriormente, conservando la misma arquitectura e interfaz de lenguaje. Durante la adaptación, las descripciones seleccionadas por el propio modelo reciben los objetivos condicionados por el orden.
La inferencia utiliza dos llamadas secuenciales: la primera selecciona una subtarea de la lista ordenada proporcionada y la segunda predice el progreso local condicionada por la descripción de esa subtarea. El índice seleccionado y la predicción local se combinan mediante la regla de progreso de toda la tarea. La inferencia requiere observaciones y entradas de texto, sin anotaciones de límites de subtareas, AQ ni resultados.
Activación y desactivación de MPC
- Estancamiento del progreso. El progreso de toda la tarea no ha aumentado durante el intervalo de tiempo especificado: la política está atascada o los intentos repetidos están fallando.
- Salto de subtarea. El índice de subtarea suavizado avanza varias posiciones: la política ha pasado a un paso posterior antes de completar el actual, por ejemplo, va a buscar el taladro antes de montar una rueda.
Ensamblaje del tractor
Sin MPC, la política completa 2 de los 10 ensamblajes; con MPC, completa 9 de 10. Los fallos sin MPC incluyen ruedas caídas o inclinadas y pasos omitidos, como ir a buscar el taladro antes de montar una rueda. En el fallo restante con MPC, las cuatro ruedas están montadas, pero el tractor no queda en posición vertical. Estos resultados indican que las estimaciones de subtareas y progreso de Grana pueden decidir cuándo se necesita planificar y guiar la selección de acciones, sin actualizar la política.
Preguntas frecuentes
¿Cómo estima Grana el progreso de toda la tarea? Selecciona la subtarea pendiente, predice su progreso local y combina esa estimación con la lista ordenada de subtareas de la tarea.
¿Cómo distingue Grana el progreso exitoso de los contratiempos? Las anotaciones de subtareas identifican el trabajo completado, mientras que las anotaciones de calidad de la acción marcan la ejecución nominal, subóptima y con retroceso. El retroceso puede restablecer el progreso local antes de que un intento posterior lo reconstruya.
¿Qué recibe Grana durante la inferencia? Recibe observaciones, una descripción de la tarea y la lista de subtareas proporcionada. No requiere anotaciones de límites de subtareas, calidad de la acción ni resultados durante la inferencia.
¿Cómo afectó MPC a los resultados del ensamblaje del tractor? La política completó 2 de 10 ensamblajes sin MPC y 9 de 10 con MPC, sin actualizar la política.
