Tanto los experimentos en simulación como con robots reales utilizan demostraciones de expertos recolectadas mediante políticas programadas, excepto para Charger Plug, donde las demostraciones son generadas por una política de refuerzo aprendida externamente. Para obtener agentes imperfectos pero reproducibles, utilizamos dos tipos de políticas base.
Configuración Experimental
Tanto en simulación como con robots reales, las demostraciones de expertos se recolectan usando políticas programadas, excepto para Charger Plug, donde las demostraciones son generadas por una política de RL entrenada externamente. Para obtener agentes imperfectos pero reproducibles, usamos dos tipos de políticas base.
Análisis de Resultados
En general, [un método de adaptación de acciones basado en flujo] proporciona mejoras robustas en todos los agentes y entornos. Entre las 16 configuraciones de tarea-envoltorio, nuestras variantes logran la mejor tasa de éxito en 13 casos y siguen siendo competitivas en los demás, lo que muestra que la adaptación a nivel de acciones es efectiva en comportamientos de agentes retrasados, ruidosos, lentos y sesgados.
Específicamente, FPAS por sí solo ya proporciona ganancias sustanciales sobre los agentes fuente en la mayoría de las configuraciones y sigue siendo competitivo con líneas base fuertes, destacando la efectividad de la detección de OOD basada en flujo: incluso sin corrección generativa adicional, proporciona una señal útil para identificar y refinar acciones problemáticas. En comparación con FPAS, FEEG proporciona ganancias adicionales en varias configuraciones desafiantes, especialmente en tareas de manipulación de alta dimensión como Can y Charger, con la mayor mejora superando [una gran mejora de rendimiento]. Estos resultados sugieren que la edición de acciones guiada por flujo puede producir correcciones más efectivas que el muestreo local cuando la adaptación exitosa requiere cambios coordinados en todo el fragmento de acción.
IFAE muestra la ventaja más clara cuando las acciones del agente forman una distribución fuente que puede modelarse de manera confiable. En los experimentos con envoltorio estocástico, IFAE logra el mejor rendimiento o cercano al mejor en varias configuraciones. Estas ganancias sugieren que la edición de flujo fuente-a-experto es efectiva cuando el agente envuelto aún preserva una variedad de acciones coherente y la corrección requerida puede expresarse como un transporte a nivel de distribución. Sin embargo, IFAE es menos confiable en algunas configuraciones donde es menos probable que la acción del agente sea capturada por el flujo fuente aprendido. En estos casos, FEEG suele ser más fuerte porque se basa principalmente en el flujo experto y un término de proximidad, en lugar de requerir un modelo preciso de la distribución fuente corrupta.
Adicionalmente, la detección de OOD proporciona un mecanismo eficiente para la intervención selectiva. En lugar de refinar cada fragmento propuesto, [los métodos basados en flujo] aplican corrección solo cuando la puntuación OOD indica que el fragmento está fuera de la distribución experta. Esto reduce el costo de inferencia y evita perturbar acciones ya válidas, utilizando el mismo flujo experto tanto para la detección de OOD como para la corrección.
Conclusión
Presentamos [una familia de métodos de adaptación de acciones basados en flujo] que mejora las acciones imperfectas del agente sin actualizar el agente subyacente. Utilizando demostraciones limitadas de expertos, [este método] admite tanto la adaptación de políticas como la autonomía compartida, y utiliza el flujo experto aprendido para la intervención selectiva basada en OOD. Experimentos en simulación y con robots reales muestran mejoras consistentes para el aprendizaje por imitación con envoltorio estocástico y agentes VLA.
Limitaciones
Nuestros experimentos muestran que FEEG e IFAE proporcionan comportamientos de adaptación complementarios, pero los factores que determinan qué variante es mejor para una tarea dada aún deben estudiarse de manera más sistemática. El trabajo futuro debería analizar más a fondo el efecto de los hiperparámetros de edición y las propiedades de la tarea, como la riqueza de contacto, los requisitos de precisión y la estructura composicional. Ablaciones más extensas y selección automática de variantes pueden mejorar aún más la robustez de la adaptación de acciones basada en flujo.
Preguntas Frecuentes
¿Cuál es la principal innovación de la adaptación de políticas basada en flujo? Mejora las acciones imperfectas del agente en tiempo de inferencia sin reentrenar ni ajustar la política subyacente, utilizando un modelo de flujo aprendido a partir de demostraciones de expertos.
¿Cómo funciona la intervención selectiva basada en OOD en este marco? El método solo aplica correcciones cuando la puntuación OOD indica que un fragmento de acción del agente está fuera de la distribución experta, reduciendo el costo computacional mientras preserva las acciones ya válidas.
¿Cuáles son las diferencias clave entre las variantes FEEG e IFAE? FEEG usa solo el flujo experto y un término de proximidad para las correcciones, mientras que IFAE modela el transporte de distribución fuente-a-experto y funciona mejor cuando la variedad de acciones del agente permanece coherente.
¿En qué tipos de tareas la adaptación de acciones basada en flujo muestra las mayores mejoras? El método proporciona las mayores ganancias en tareas de manipulación de alta dimensión como Can y Charger, donde se requieren cambios coordinados en un fragmento de acción para una adaptación exitosa.