Políticas de difusión dinámicas que aprenden cuándo dejar de calcular

Entornos y configuración de referencia

Entornos

Utilizamos cuatro entornos distintos del benchmark MuJoCo: HalfCheetah-v4, Walker2d-v4, Hopper-v4 y Ant-v4, con dimensiones de acción de entre 3 y 8. Elegimos estos entornos porque implican un control complejo de agentes corporizados y, al mismo tiempo, ofrecen una simulación rápida gracias a la implementación de MuJoCo.

Rendimiento de POGP con difusión completa

En nuestro primer experimento, nos interesa evaluar el rendimiento de POGP como política de difusión independiente, sin el proceso de difusión dinámica basado en PVF que proponemos. Evaluamos POGP con el número completo de pasos de difusión, de modo que resulta equivalente a los demás métodos de referencia analizados.

Conclusión

POGP es un método para aprender cuándo dejar de calcular nuevas iteraciones de eliminación de ruido en políticas de difusión. Lo consigue aprendiendo una función de valor de prefijo (PVF) mediante una recursión de estilo Bellman sobre la cadena de eliminación de ruido. La PVF cumple dos funciones:

1. Proporciona un objetivo auxiliar de optimización que convierte los pasos intermedios de difusión en acciones ejecutables.
2. Ofrece un criterio de parada en tiempo de prueba que detiene la eliminación de ruido cuando no se espera que las iteraciones adicionales produzcan una mejora significativa.

En cuatro tareas de MuJoCo y frente a 12 métodos de referencia, POGP reduce aproximadamente un 66 % el presupuesto de cómputo de difusión, al tiempo que conserva un rendimiento casi completo. Supera a los métodos de referencia más avanzados en aproximadamente un 4,6 % según la media intercuartílica agregada (IQM).

Los autores agradecen a Advanced Research Computing de Virginia Tech por proporcionar los recursos computacionales y el apoyo técnico que contribuyeron a los resultados presentados.

Entrenamiento con múltiples peligros

Una extensión natural consiste en entrenar con una distribución de peligros en lugar de un único peligro.

Arquitectura de la red

Todas las redes utilizan la misma arquitectura troncal para garantizar una comparación justa.

Crítico del entorno

El crítico del entorno utiliza una arquitectura idéntica a la de los críticos estándar de SAC y TD3: un MLP con 256 unidades y activaciones ReLU. Su entrada es el estado del entorno y la representación de la acción. Utiliza dos cabezales independientes para la estimación del valor Q doble.

Crítico de prefijo

El crítico de prefijo es un MLP con 256 unidades y activaciones ELU. Su entrada es el estado del entorno, la acción parcialmente sometida a eliminación de ruido y el paso de difusión, donde el paso de difusión se codifica igual que la incrustación del paso del eliminador de ruido. La salida es un escalar.

El mapa de completado es deliberadamente poco profundo: su función es proyectar, no volver a refinar. Un mapa más profundo añadiría parámetros que podrían aprender implícitamente a refinar, lo que confundiría el estudio de ablación. Aumentar la profundidad del mapa de completado a dos capas no cambia los resultados de forma significativa, con una pequeña diferencia en la retención.

Implementaciones de referencia

Todos los métodos de referencia se reimplementan desde cero en una base de código común para garantizar un tratamiento de datos, una gestión del búfer de repetición y unos protocolos de evaluación idénticos. Cuando los métodos disponían de código oficial publicado, verificamos que nuestras implementaciones coincidieran con sus cifras publicadas con una diferencia inferior al 2 % en una tarea de referencia común: HalfCheetah tras 1 millón de pasos.

• TD3: DDPG con retraso doble. Utilizamos los hiperparámetros estándar y suavizado de la política con la escala del ruido de suavizado de la política, recortando el ruido de suavizado.
• SAC: Actor-crítico suave con ajuste automático de la entropía.
• PPO: Optimización proximal de la política con 64 entornos en paralelo, recortando el objetivo de la razón de políticas y realizando 10 épocas por actualización.
• Diffusion-QL: Política de difusión con una pérdida de clonación conductual ponderada por el paso. Es una variante en línea sin preentrenamiento fuera de línea.
• DPPO / D²PPO: Política de difusión optimizada con actualizaciones de estilo PPO. D²PPO añade una segunda etapa de eliminación de ruido.
• SDAC: Actor-crítico de difusión basado en ajuste de puntuación. Utiliza una pérdida auxiliar de ajuste de puntuación para evitar la retropropagación a través de la cadena completa.
• DSAC-D: Extensión de SAC basada en difusión, con actualizaciones directas de la política basadas en puntuaciones.
• D3P: Política de difusión con un prior aprendido para seleccionar la profundidad y salida temprana dinámica.
• IDQL: Q-learning implícito fuera de línea con difusión, con 100.000 pasos de preentrenamiento fuera de línea a partir de un búfer de repetición de una política aleatoria, seguidos de 900.000 pasos de ajuste fino en línea.
• FQL: Q-learning de flujo. La política basada en flujo se entrena con un objetivo de reflujo para permitir la generación de acciones en un solo paso.
• SAC-GMM: SAC con una política de mezcla gaussiana de cinco componentes. Sirve como referencia multimodal con capacidad equivalente y sin refinamiento iterativo.

Recursos computacionales

Todos los experimentos se ejecutaron en una única GPU NVIDIA A100 con 80 GB de memoria.

El cómputo total fue el siguiente:

• El tiempo de reloj por ejecución de 1 millón de pasos fue de aproximadamente 1,0–1,2 horas para POGP, ligeramente superior al de los métodos de referencia debido a la generación compartida de cadenas.
• El tiempo de reloj por ejecución de 1 millón de pasos fue de aproximadamente 0,7–0,9 horas para los métodos de referencia no basados en difusión.

Espacios de acción de alta dimensionalidad

El análisis de atribución por entorno muestra ganancias menores para Ant (la dimensión de acción de Ant) que para HalfCheetah (la dimensión de acción de HalfCheetah). Planteamos la hipótesis de que contribuyen dos factores.

Gradientes más ruidosos

Los espacios de acción de mayor dimensionalidad generan una mayor varianza en la estimación del crítico, lo que reduce la fiabilidad de los objetivos de Bellman de peligro. La fiabilidad del gradiente Q fue de 0,58 para Ant, frente a 0,82 para HalfCheetah.

Un mapa de completado más profundo o un crítico V en conjunto podrían abordar ambos problemas, pero dejamos esta cuestión para trabajos futuros a fin de no confundir la arquitectura con el objetivo.

Valor del peligro

La Tabla 11 informa del retorno de la cadena completa y de la retención a la profundidad de difusión especificada para valores de peligro uniformes en todo el intervalo de peligros evaluado.

Discusión

De la Tabla 14 se desprenden tres tendencias:

• El retorno de la cadena completa mejora monótonamente con el número de pasos de difusión para ambos métodos.
• Las cadenas más largas proporcionan políticas más expresivas.
• POGP supera sistemáticamente a SDAC en retorno absoluto en todas las longitudes de cadena evaluadas, con una diferencia aproximadamente constante de 28–30 puntos en HalfCheetah.

El objetivo de entrenamiento de prefijo no perjudica la calidad de la cadena completa.

Modelos de difusión para aprendizaje por refuerzo y planificación fuera de línea

El uso de modelos de difusión en aprendizaje por refuerzo es anterior a las formulaciones de entrenamiento en línea. Los modelos de difusión se han utilizado para modelar distribuciones completas de trayectorias, lo que permite planificar mediante el muestreo y la reordenación de trayectorias. Diffusion-QL introdujo el primer uso de un actor de difusión con un objetivo de ajuste fino ponderado por el paso en entornos fuera de línea.

Estos métodos fuera de línea asumen implícitamente que la inferencia siempre llega a completarse. El entrenamiento de prefijo de POGP amplía sus objetivos al contexto en línea con cómputo variable.

Relación con las opciones y la abstracción temporal

El marco de opciones descompone las políticas que operan en el tiempo del entorno en comportamientos extendidos temporalmente, con condiciones de iniciación y funciones de terminación. El MDP de refinamiento de POGP comparte la estructura de terminación a lo largo del tiempo, pero opera en el tiempo de refinamiento y no en el tiempo del entorno.

Una unificación formal en la que el cómputo interno de una opción fuera, a su vez, un proceso óptimo de prefijo podría ampliar POGP a entornos jerárquicos.

Relación con el tiempo de cómputo adaptativo

El tiempo de cómputo adaptativo (ACT) y PonderNet aprenden cuándo detener el cómputo iterativo en entornos supervisados. POGP proporciona el análogo para el aprendizaje por refuerzo: la regla de parada surge de forma natural de la función de valor de prefijo aprendida, sin necesidad de una red de parada independiente.

A diferencia de ACT, el criterio de parada de POGP se fundamenta en el retorno esperado y no en un coste que penaliza el cómputo.

Preguntas frecuentes

¿Qué es POGP? POGP es un método para aprender cuándo detener las iteraciones de eliminación de ruido en políticas de difusión para control continuo.

¿Cuál es la finalidad de la función de valor de prefijo? Convierte los pasos intermedios de difusión en acciones ejecutables y proporciona un criterio en tiempo de prueba para detener la eliminación de ruido.

¿Cuánto cómputo de difusión reduce POGP? En cuatro tareas de MuJoCo y frente a 12 métodos de referencia, POGP reduce aproximadamente un 66 % el presupuesto de cómputo de difusión, al tiempo que conserva un rendimiento casi completo.

¿Qué entornos se utilizaron para la evaluación? La evaluación utilizó HalfCheetah-v4, Walker2d-v4, Hopper-v4 y Ant-v4 del benchmark MuJoCo.