Las recompensas densas de progreso y la retroalimentación lingüística enriquecida que genera D&A pueden aprovecharse en distintos paradigmas posteriores de mejora de políticas. En esta sección se describe cómo D&A acelera el aprendizaje por refuerzo (RL) en línea y fuera de línea, y Código como políticas (CaP), los paradigmas utilizados en los experimentos. D&A es un marco de recompensas de propósito general y retroalimentación enriquecida que también puede combinarse con otras aplicaciones.
Uso de D&A para la mejora posterior de políticas
Código como políticas
Observaciones recientes en el análisis de fallos robóticos y la optimización guiada por retroalimentación sugieren que una retroalimentación lingüística enriquecida puede mejorar el rendimiento de las políticas. D&A se evalúa como fuente de retroalimentación entre intentos para un planificador de CaP de lazo abierto.
En cada intento, el planificador observa el estado inicial de la escena y genera un plan en código, que luego se ejecuta en lazo abierto en el entorno. A lo largo de los intentos, el planificador lleva un registro de los planes anteriores y de la retroalimentación de D&A, que identifica los modos de fallo y propone correcciones.
Agradecimientos
Los autores agradecen a Marc Toussaint y al laboratorio Learning and Intelligent Systems de TU Berlin las conversaciones iniciales que dieron lugar a este proyecto. Parte de este trabajo recibió apoyo de TRI U3.0, Ai2 y la Cross-Pacific AI Initiative (X-PAI), con el respaldo de Amazon, NVIDIA, la University of Washington y la University of Tsukuba.
Preguntas frecuentes
¿Qué aporta D&A a la mejora posterior de políticas? D&A proporciona recompensas densas de progreso y retroalimentación lingüística enriquecida.
¿Qué paradigmas de mejora de políticas se analizan aquí? La sección del artículo describe el aprendizaje por refuerzo en línea y fuera de línea, y Código como políticas.
¿Cómo se utiliza D&A con Código como políticas? Proporciona retroalimentación entre intentos a un planificador de lazo abierto, identificando modos de fallo y proponiendo correcciones.
¿Qué hace el planificador en cada intento? Observa el estado inicial de la escena, genera un plan en código y lo ejecuta en lazo abierto.