RPG coordina seis agentes especializados en tres etapas: Constructor, agente de ejecución, agente privilegiado, analizador de vídeo, implementador y fusionador. Primero construye tareas de práctica en simulación a partir de un conjunto de datos sin conexión, mejora un sistema compartido de ejecución robótica practicando estas tareas y, por último, implementa el sistema resultante en un robot físico. El sistema de ejecución se formula como Agent-as-Policy: un agente de ejecución multimodal sigue un prompt del sistema para completar cada tarea seleccionando y combinando habilidades reutilizables de una biblioteca compartida. Estas habilidades proporcionan primitivas generalizables para la percepción y el control robótico, y se construyen y perfeccionan en las etapas de Reconstrucción y Práctica.
Configuración e inicialización de Agent-as-Policy
RPG coordina seis agentes especializados en sus tres etapas: Constructor, agente de ejecución, agente privilegiado, analizador de vídeo, implementador y fusionador. Primero construye tareas de práctica en simulación a partir de un conjunto de datos sin conexión, mejora un sistema compartido de ejecución robótica practicando estas tareas y, por último, implementa el sistema resultante en un robot físico.
El sistema de ejecución se formula como Agent-as-Policy: un agente de ejecución multimodal sigue un prompt del sistema para completar cada tarea seleccionando y combinando habilidades reutilizables de una biblioteca compartida. Las habilidades proporcionan primitivas generalizables para la percepción y el control robótico, y se construyen y perfeccionan en las etapas de Reconstrucción y Práctica que se describen a continuación.
Reconstrucción: crear y fijar las tareas de práctica
Primero, el Constructor selecciona tareas de origen de un conjunto de datos sin conexión para abarcar capacidades de manipulación útiles y diversas. Para cada tarea de origen seleccionada, elige 3–8 trayectorias y revisa sus vídeos y descripciones textuales. Identifica las capacidades de manipulación representadas por la tarea de origen y propone una tarea de simulación para practicarlas. El agente dispone de 7.5 minutos por tarea de origen.
Práctica: mejorar el sistema a partir de la ejecución
El aprendizaje actor-crítico asimétrico utiliza el estado completo del simulador para entrenar un crítico, mientras limita al actor a imágenes. En cambio, RPG utiliza el estado privilegiado en una ejecución separada para facilitar el diagnóstico de fallos. Con información sobre el estado privilegiado, el agente privilegiado puede completar algunas tareas con mayor fiabilidad que el agente de ejecución con las habilidades actuales. Sus ejecuciones exitosas pueden orientar las mejoras del agente de ejecución, mientras que los fallos compartidos por ambos agentes pueden revelar defectos en las habilidades compartidas.
El analizador de vídeo identifica el primer fallo observado y recomienda un cambio concreto; respalda su diagnóstico con fotogramas o trazas y describe el efecto físico esperado del cambio. No modifica el sistema de ejecución. Su diagnóstico y recomendación se envían al implementador para que realice una revisión.
Pasar al mundo real: adaptar y fijar para la implementación
El sistema RPG final y CaP-Agent0 se adaptan al robot físico YAM antes de la evaluación. Ambos reciben la misma calibración de coordenadas y adaptación del hardware, incluidos los desplazamientos de las almohadillas y la apertura de la pinza vacía. No se aplica ningún ajuste específico para objetos o tareas.
En todas las evaluaciones físicas se utiliza un esfuerzo de razonamiento bajo para reducir el coste y la latencia de inferencia. Más allá de estas adaptaciones, no se realizan cambios en el código de comportamiento a partir de la retroalimentación física. Los sistemas adaptados permanecen fijos durante la evaluación. El agente privilegiado y el analizador de vídeo no se utilizan durante la implementación física.
Evaluación
La evaluación se organiza en torno a cuatro preguntas:
- Q1: ¿Cómo cambia el éxito en las tareas con la práctica y cómo se compara RPG con los agentes existentes?
- Q2: ¿Cómo afectan las entradas de diagnóstico a la mejora?
- Q3: ¿Pueden los cambios en la biblioteca mejorar la finalización de tareas si el entorno de ejecución permanece fijo?
- Q4: ¿Completa el sistema resultante tareas físicas tras una adaptación común?
Q1: ¿Mejora RPG con la práctica?
Presupuestos de evaluación
CaP-Agent0 recibe hasta 50 turnos del modelo por episodio. RATs recibe hasta 50 turnos del modelo y un límite de 1,200 segundos de tiempo de reloj de pared. RPG y ASPIRE reciben hasta 30 turnos del modelo, 12 llamadas de observación basadas en el modelo y 1,200 segundos de tiempo de reloj de pared.
Modelos de autoaprendizaje
RPG utiliza Fable 5.1 para la revisión de código sin conexión durante el autoaprendizaje, incluido el análisis de vídeos de ejecución y la actualización del sistema compartido de ejecución entre episodios. Gemini 3.8 Flash genera programas a nivel de tarea durante la ejecución en línea.
Finalización de tareas
RPG logra 209/220 éxitos (95.0%), superando a todas las líneas de base. Entre los cuatro modelos evaluados con CaP-Agent0, GPT-6 Astra Pro obtiene el mejor resultado, con 132/220 éxitos (60.0%), por debajo del rendimiento de RPG con Gemini 3.8 Flash. Gemini CaP-Agent0 logra 107/220 (48.6%), ASPIRE logra 166/220 (75.5%) y RATs logra 92/220 (41.8%).
En comparación con Gemini CaP-Agent0, RPG mejora en 19 tareas y empata en las tres restantes. La mejora abarca ambos grupos de tareas: el éxito aumenta del 51.4% al 98.6% en las tareas CaP-X y del 47.3% al 93.3% en las tareas derivadas de ABC o análogas.
RPG completa con éxito los diez ensayos en 17 de las 22 tareas. En comparación con ASPIRE, sus mayores avances se dan en la inserción de piezas en un soporte y la colocación de botellas, que en conjunto representan 15 de sus 43 éxitos adicionales. ASPIRE logra un ensayo exitoso más que RPG en las tareas de servir y clasificar cubos estándar. Siete de los 11 fallos de RPG se producen al doblar toallas, por lo que la manipulación de objetos deformables sigue siendo el principal modo de fallo en esta evaluación.
Mejora a lo largo de las rondas
RPG aumenta de 63/220 éxitos tras la ronda 1 (28.6%) a 209/220 tras la ronda 15 (95.0%). La ronda 4 supera las cuatro configuraciones de CaP-Agent0 y la ronda 5 alcanza el 78.2%, por encima del resultado final de ASPIRE, del 75.5%.
Una vez fijado el prompt del sistema, el éxito aumenta otros 21.4 puntos porcentuales entre las rondas 4 y 15. Durante este periodo, el sistema realiza 60 modificaciones a las habilidades existentes. En las rondas 9, 11, 14 y 15, modifica habilidades existentes sin añadir otras nuevas. Por tanto, RPG mejora tanto al ampliar la biblioteca como al reparar implementaciones de habilidades compartidas.
La curva de evaluación no es estrictamente monótona: el número de éxitos disminuye en uno en las rondas 6 y 14. Estas revisiones superaron las comprobaciones de desarrollo con cinco semillas, pero no mejoraron todos los resultados en las diez semillas de evaluación reservadas.
Conclusión
RPG diagnostica fallos mediante ejecuciones privilegiadas y valida las revisiones en distintas tareas para mejorar un sistema persistente de ejecución robótica sin actualizar los pesos del modelo. El éxito aumenta del 28.6% tras la primera ronda de práctica al 95.0% tras 15 rondas, en inicializaciones reservadas de 22 tareas; supera a ASPIRE (75.5%) y a CaP-Agent0 con GPT-6 Astra Pro (60.0%).
Los estudios de ablación respaldan la combinación del analizador de vídeo y el agente privilegiado, mientras que una comparación limitada a la biblioteca aísla las mejoras derivadas de las revisiones de habilidades y destaca la importancia de validar a nivel de tarea. Tras aplicar el mismo procedimiento de calibración y adaptación del hardware que a las líneas de base, el sistema fijado logra completar con éxito los 30 ensayos en tres tareas físicas. Estos resultados muestran que el código de habilidades compartidas y el prompt del sistema pueden servir como objetivos prácticos para la mejora persistente de robots.
Debate y limitaciones
Dos cuellos de botella limitan el autoaprendizaje. En cada ronda se recopilan trayectorias del agente de ejecución y del agente privilegiado en las 22 tareas, pero los límites de frecuencia de las API restringen las ejecuciones paralelas. A medida que crece el conjunto de tareas, las revisiones solapadas de habilidades compartidas y sus dependencias también pueden complicar la integración. El trabajo futuro podría mejorar la eficiencia mediante la programación de ejecuciones que tenga en cuenta las cuotas y la integración de propuestas que tenga en cuenta las dependencias.
Agradecimientos
Los autores agradecen a Zi Wang y Bike Zhang sus útiles conversaciones y comentarios. OpenAI ChatGPT y Anthropic Claude se utilizaron para ayudar con la edición lingüística y el pulido del manuscrito. Los autores desarrollaron y verificaron todo el contenido técnico, los análisis y las conclusiones.
Protocolo de autoaprendizaje
Al comienzo de cada ronda, el agente de ejecución intenta realizar todas las tareas de práctica en cinco inicializaciones de desarrollo fijas. Selecciona y combina habilidades reutilizables utilizando únicamente las observaciones disponibles durante la implementación y su historial de ejecución.
En paralelo, un agente privilegiado ejecuta episodios separados desde estados iniciales correspondientes, utilizando el mismo modelo de ejecución y la misma biblioteca de habilidades compartida. El agente privilegiado solo se diferencia en que tiene acceso al estado del simulador, incluidas las identidades, posiciones, tamaños y velocidades de los objetos, así como las posiciones de las esquinas de la tela. Ambos agentes invocan las mismas habilidades compatibles con la implementación. Las propias habilidades no reciben el estado privilegiado.
Ejemplos cualitativos de adquisición y perfeccionamiento de habilidades
Los autores presentan ejemplos representativos de cómo el autoaprendizaje modifica los comportamientos de manipulación reutilizables del robot. Durante el autoaprendizaje, el éxito de desarrollo por tarea se mide en cinco inicializaciones de desarrollo fijas, por lo que estas tasas de éxito en el bucle cambian en incrementos de 20 puntos porcentuales. Posteriormente, las revisiones candidatas se evalúan en toda la batería de validación entre tareas, tal como se describe en el Apéndice A. Estas mediciones de desarrollo en el bucle son distintas de las evaluaciones independientes con 10 semillas reservadas que se presentan en los experimentos principales.
La tarea Colocar botellas en el contenedor ofrece un ejemplo de adquisición de una capacidad de manipulación que antes no era fiable. En la ronda 12, su tasa de éxito en el bucle aumentó de 1/5 (20%) a 5/5 (100%).
Antes de esta mejora, el agente solía considerar suficiente acercar la pinza al recipiente para que la colocación tuviera éxito. Podía iniciar la colocación sin comprobar la trayectoria completa desde el agarre hasta la colocación, continuar tras llegar a un punto intermedio inalcanzable o soltar una botella cerca del contenedor sin asegurarse de que la botella hubiera superado el borde y entrado por la abertura.
En cambio, el comportamiento mejorado localiza la abertura del recipiente, comprueba toda la ruta de manipulación, razona sobre la geometría de la botella en lugar de considerar únicamente la posición de la punta de los dedos, supera el borde antes de bajar y verifica que la botella haya quedado dentro tras soltarla. En resumen, el comportamiento pasa de:
Agarrar → acercar al recipiente → soltar
Esto representa una transición de la manipulación centrada en el efector final a la manipulación centrada en el objeto: alcanzar la posición de la pinza indicada ya no se considera equivalente a lograr el estado físico deseado.
Conjunto de tareas de simulación
RPG se evalúa en un conjunto de 22 tareas de manipulación bimanual en la estación YAM. La especificación de cada tarea fija la escena de simulación, la instrucción en lenguaje natural, el presupuesto de ejecución y un evaluador binario que evalúa el resultado final a partir del estado del simulador. Las declaraciones de éxito del propio modelo de política se registran con fines de diagnóstico, pero nunca afectan a la etiqueta de éxito.
El conjunto incluye 17 tareas de desarrollo, una tarea de validación y cuatro tareas reservadas a la retroalimentación. Las tareas de desarrollo proporcionan información específica de los fallos de cada tarea y pueden generar revisiones candidatas. La tarea de validación, Apilar cubos de nuevo, no genera revisiones candidatas y se utiliza como comprobación de regresión entre tareas. Se informa de ella por separado de las tareas reservadas a la retroalimentación, ya que solo estas últimas se utilizan en el análisis de transferencia del Apéndice D.
Las cuatro tareas reservadas a la retroalimentación son Servir en un plato, Traspaso a dos manos, Transferir un objeto y Cerrar el estuche de gafas de sol. El analizador de vídeo no las analiza ni se utilizan para generar revisiones candidatas específicas de cada tarea. Solo se mantienen en la validación entre tareas como comprobaciones de regresión.
Todas las tareas utilizan la misma interfaz de observación: imágenes RGB de las cámaras superior y de ambas muñecas, profundidad de la cámara superior y propiocepción del robot. Las condiciones iniciales aleatorizan las posiciones de los objetos y determinados parámetros físicos, incluidos la fricción, la masa, la altura de la mesa, la posición de la cámara y el ruido de profundidad; a continuación, se aplica un periodo fijo de asentamiento antes de la ejecución. Cada ensayo consta de un episodio. Los límites específicos de cada tarea para las llamadas a habilidades y el tiempo de ejecución del robot forman parte de la definición de la tarea.
Salvo que se indique lo contrario, el éxito de la tarea se puntúa a partir del estado final del simulador. RATs sigue su criterio nativo de éxito en cualquier momento.
El benchmark utiliza nueve tipos de evaluadores que representan distintos objetivos de manipulación. La mayoría de las tareas de colocación utilizan un evaluador all_in_targets, que comprueba que cada objeto requerido esté dentro de las tolerancias horizontales y verticales específicas de la tarea respecto a su objetivo. Otros evaluadores comprueban el levantamiento, el cierre de elementos articulados, la extracción, el apilamiento, el re-apilamiento, el levantamiento bimanual nivelado, la retirada de residuos y el doblado de tela.
Varios evaluadores incluyen condiciones de protección adicionales para descartar soluciones degeneradas. Por ejemplo, mover todo un soporte no satisface el criterio de extracción, y una escena con objetos ya apilados no satisface el criterio de re-apilamiento a menos que se desplace la base.
Preguntas frecuentes
¿Cómo mejora RPG el rendimiento de los robots en las tareas? Diagnostica fallos de ejecución y revisa una biblioteca compartida de habilidades reutilizables, validando los cambios en distintas tareas sin actualizar los pesos del modelo.
¿Qué funciones cumplen el agente de ejecución y el agente privilegiado? El agente de ejecución opera a partir de las observaciones disponibles durante la implementación, mientras que el agente privilegiado utiliza el estado del simulador en ejecuciones separadas para facilitar el diagnóstico de fallos.
¿Qué rendimiento alcanza RPG en simulación? Logra 209/220 éxitos (95.0%) tras 15 rondas de práctica en 22 tareas.
¿Funciona el sistema adaptado en un robot físico? El sistema fijado logra completar con éxito los 30 ensayos en tres tareas físicas después de una calibración y una adaptación del hardware comunes.