CoFiT, un método para ajustar políticas de seguimiento de humanoides teniendo en cuenta los filtros de seguridad en tiempo de ejecución, redujo el tiempo de incumplimiento en diversos escenarios con restricciones y en hardware Unitree G1, según se informó por primera vez en Arxiv. El método tiene en cuenta cómo el filtrado modifica las acciones ejecutadas y las distribuciones de estados inducidas por la política. Las pruebas muestran que disminuye tanto el tiempo de incumplimiento como las correcciones del filtro de seguridad.
El movimiento seguro de cuerpo completo es esencial para desplegar robots humanoides en entornos no estructurados. El control de humanoides suele separar la especificación de la referencia de su ejecución: un planificador, un teleoperador o un generador de movimiento proporciona una referencia, mientras que una política de aprendizaje por refuerzo la sigue mediante un control de cuerpo completo dinámicamente viable.
Los filtros de seguridad en tiempo de ejecución pueden intervenir en las salidas del sistema de seguimiento para aplicar restricciones recién incorporadas. Esas intervenciones modifican las acciones ejecutadas y la distribución de estados inducida por la política; tratar por separado la política de seguimiento y el filtro provoca discrepancias en la dinámica, el objetivo y la información.
Los estudios de caso aíslan esos tres tipos de discrepancia y analizan sus causas. CoFiT, sigla de Constrained Filter-aware Tuning (ajuste consciente de las restricciones y los filtros), ajusta políticas de seguimiento preentrenadas teniendo en cuenta la interacción entre la política y el filtro.
En diversos escenarios con restricciones, CoFiT redujo el tiempo de incumplimiento frente al entrenamiento que solo usa filtros: un 91% en TWIST2 y un 21% en SONIC. Además, necesitó correcciones menores del filtro de seguridad. Los resultados presentados abarcan el tiempo de incumplimiento, la magnitud de las correcciones del filtro y la intervención del operador.
En hardware Unitree G1, CoFiT redujo el tiempo de incumplimiento un 83% en TWIST2 y completó todos los ensayos sin intervención del operador. En el 50% de los ensayos de referencia fue necesario que el operador detuviera el sistema.