Presentamos Recurrent Generative Replay (ReGen), el primer marco de aprendizaje continuo que aprovecha las capacidades generativas de los Modelos de Acción Mundial (WAMs) como mecanismo de reproducción nativo. Al sintetizar pseudo-demonstraciones condicionadas por instrucciones de tareas anteriores, observaciones visuales actuales y sus propias observaciones generadas, ReGen mitiga el olvido catastrófico sin requerir acceso a demostraciones almacenadas de tareas previas. Experimentos tanto en simulación como en manipulación en el mundo real demuestran su efectividad para el aprendizaje continuo de robots. Finalmente, nuestro análisis identifica la degradación a largo plazo en las observaciones generadas como el principal cuello de botella, destacando una dirección importante para futuros avances en WAMs y reproducción generativa.
Método
Primero presentamos la formulación del problema de aprendizaje continuo y luego presentamos nuestro marco propuesto para la adaptación continua de WAMs, Recurrent Generative Replay (ReGen).
Formulación del Problema
El entorno de aprendizaje continuo implica entrenar una política robótica de forma secuencial en múltiples tareas. En cada etapa, el agente observa una nueva tarea y debe aprender a realizarla mientras retiene el conocimiento de tareas anteriores sin almacenar sus datos de demostración originales.
Recurrent Generative Replay (ReGen)
ReGen opera haciendo que la política actual genere pseudo-trayectorias para tareas anteriores utilizando las capacidades generativas del WAM. La política se condiciona en instrucciones de tareas anteriores, la observación visual actual y sus propias observaciones futuras generadas para crear demostraciones sintéticas que sirven como datos de reproducción. Este enfoque elimina la necesidad de almacenar demostraciones de tareas anteriores, permitiendo que la política practique comportamientos previamente aprendidos durante el entrenamiento de nuevas tareas.
Resultados Experimentales
Realizamos experimentos tanto en entornos simulados como reales para evaluar la efectividad de las pseudo-trayectorias generadas por ReGen. Además, realizamos análisis de representaciones para caracterizar la calidad de las trayectorias generadas y evaluar su desviación de las demostraciones perfectas.
Puntos de Referencia de Simulación
Se realizaron experimentos en el conjunto de referencia LIBERO, que proporciona un conjunto diverso de tareas de manipulación con niveles variables de complejidad. Después de cada etapa de aprendizaje continuo, evaluamos la política en todas las tareas observadas hasta ese momento. Para cada tarea, ejecutamos un número de pruebas con estados iniciales aleatorizados e informamos la tasa de éxito promedio. A partir de estas tasas de éxito por tarea, calculamos las tres métricas de aprendizaje continuo: Transferencia Directa (FWT), Transferencia Negativa Inversa (NBT) y Área bajo la Curva (AUC).
Evaluación en Robot Real
Evaluamos tres tareas de manipulación en el mundo real introducidas secuencialmente, con un número de pruebas por tarea a partir de ubicaciones de objetos aleatorizadas y configuraciones iniciales del efector final. Las ejecuciones se puntúan utilizando una rúbrica de puntuación parcial: puntos por tocar el objeto objetivo y puntos adicionales por alcanzar la meta.
Análisis de ReGen
Además, analizamos cómo ReGen preserva las representaciones internas y los comportamientos de la política durante el aprendizaje continuo y estudiamos dos decisiones clave de diseño en la generación de pseudo-trayectorias.
Preservación de Representaciones
El análisis de los espacios de características aprendidos muestra que ReGen mantiene representaciones internas más consistentes para tareas anteriores en comparación con el ajuste fino secuencial estándar. Las pseudo-trayectorias generadas ayudan a anclar la comprensión de la política sobre habilidades anteriores mientras se acomoda nuevo conocimiento de tareas.
Decisiones de Diseño en la Generación de Pseudo-Trayectorias
Investigamos dos decisiones críticas de diseño: la frecuencia de generación de reproducciones y el horizonte de observación utilizado para el condicionamiento. Los resultados indican que ciclos de reproducción más frecuentes mejoran la retención pero aumentan la carga computacional, mientras que horizontes de observación más largos mejoran la calidad de generación hasta cierto punto antes de que ocurra degradación.
Limitaciones de ReGen y Dirección Futura
Aunque ReGen mitiga sustancialmente el olvido catastrófico sin acceso a datos de tareas anteriores, persiste una brecha de rendimiento en relación con la línea base privilegiada de reproducción de experiencias. Identificamos el principal cuello de botella como la fidelidad generativa limitada de los WAMs actuales.
Degradación a Largo Plazo
Nuestro análisis identifica la degradación a largo plazo en las observaciones generadas como el principal cuello de botella. A medida que aumenta el número de pasos de tiempo consecutivos en las trayectorias generadas, la calidad visual y el contenido relevante para la tarea de las observaciones sintéticas se deterioran, limitando la efectividad de la reproducción para tareas de horizonte más largo.
Direcciones Futuras
Este hallazgo destaca una dirección importante para futuros avances en WAMs y reproducción generativa. Mejoras en las arquitecturas de modelos generativos que mantengan la fidelidad durante horizontes más largos, o estrategias de reproducción adaptativa que centren la generación en pasos de tiempo críticos, podrían cerrar aún más la brecha con los métodos de reproducción basados en oráculos.
Conclusión
Presentamos Recurrent Generative Replay (ReGen), el primer marco de aprendizaje continuo que aprovecha las capacidades generativas de los Modelos de Acción Mundial como mecanismo de reproducción nativo. Al sintetizar pseudo-demonstraciones condicionadas por instrucciones de tareas anteriores, observaciones visuales actuales y sus propias observaciones generadas, ReGen mitiga el olvido catastrófico sin requerir acceso a demostraciones almacenadas de tareas previas. Experimentos tanto en simulación como en manipulación en el mundo real demuestran su efectividad para el aprendizaje continuo de robots.
Preguntas Frecuentes
¿Qué problema resuelve ReGen en el aprendizaje de robots? ReGen aborda el olvido catastrófico en el aprendizaje continuo de robots, donde una política entrenada secuencialmente en múltiples tareas pierde rendimiento en tareas anteriores.
¿Cómo genera ReGen pseudo-trayectorias sin datos de tareas anteriores? Utiliza un Modelo de Acción Mundial condicionado por instrucciones de tarea, observaciones actuales y sus propias observaciones futuras generadas para sintetizar datos de reproducción para tareas anteriores.
¿Cuál es la principal limitación identificada en el artículo? La degradación a largo plazo en las observaciones generadas es el principal cuello de botella, donde la calidad visual y la relevancia de la tarea disminuyen a medida que aumenta la longitud de la trayectoria.
¿Cómo se evalúa ReGen en entornos del mundo real? El marco se prueba en tres tareas de manipulación secuenciales en el mundo real con ubicaciones de objetos aleatorizadas, utilizando una rúbrica de puntuación parcial para la evaluación del éxito.