Aprendizaje por refuerzo para la locomoción con patas
Aunque el entrenamiento asimétrico de actor-crítico resulta eficaz, una gran diferencia entre las observaciones privilegiadas y las no privilegiadas puede limitar la capacidad del actor para aprender comportamientos complejos únicamente a partir de la señal de recompensa. Trabajos recientes abordan este problema mediante la introducción de mecanismos auxiliares de alineamiento de representaciones en marcos de aprendizaje por refuerzo de una sola etapa.
Método
Nuestro enfoque emplea entrenamiento asimétrico para salvar la brecha entre la simulación y la realidad: el crítico tiene acceso a información explícita sobre los fallos, mientras que el actor se entrena para aproximar una representación latente privilegiada, derivada de observaciones sensibles a los fallos, utilizando únicamente su historial propioceptivo. La política resultante opera a 50 Hz y proporciona objetivos de posición para las articulaciones accionadas del robot, además de un término de frecuencia de marcha.
Enfoque propuesto
Formulamos la locomoción tolerante a fallos como un problema de control parcialmente observable. Aunque durante el entrenamiento se dispone del estado completo del sistema, la política desplegada solo tiene acceso a un subconjunto de observaciones. Esta asimetría motiva el uso de un marco actor-crítico asimétrico con información privilegiada.
Para salvar la brecha informativa entre el actor y el crítico, introducimos un objetivo auxiliar de alineamiento latente que anima a que la representación latente del actor aproxime la representación latente privilegiada durante el entrenamiento.
Conclusiones
Este trabajo presenta un enfoque de aprendizaje profundo por refuerzo para la locomoción tolerante a fallos en situaciones de pérdida de potencia de los actuadores. El método combina una arquitectura actor-crítico asimétrica con un objetivo de alineamiento de representaciones latentes, lo que permite al actor inferir información privilegiada a partir de un historial de observaciones propioceptivas.
Una decisión de diseño fundamental es incluir una acción de frecuencia de marcha aprendible, que permite a la política adaptar la temporización de los pasos. Sostenemos que, en cuadrúpedos más pesados, las estrategias reactivas rápidas que funcionan en plataformas ligeras no se escalan bien debido a unos límites de actuación más estrictos y a un acoplamiento dinámico más intenso. Por tanto, la temporización adaptativa de la marcha se vuelve esencial cuando la actuación está degradada. Al aprovechar la información del terreno junto con la modulación de la frecuencia de marcha, la política logra una locomoción robusta sin estrategias predefinidas para las patas averiadas ni un diseño restrictivo de la función de recompensa.
Los resultados de simulación confirman la importancia del historial propioceptivo y del alineamiento latente. La transferencia sim-to-sim y la transferencia sim-to-real sin ajustes previos en un cuadrúpedo de 68 kg demuestran además un comportamiento consistente tanto en simulación como en el hardware. Entre las líneas de trabajo futuro se incluyen la integración de percepción a bordo para reconstruir el terreno, el aprendizaje de políticas unificadas de locomoción tolerante a fallos y recuperación tras caídas, y el estudio de la tolerancia a fallos en sistemas híbridos con ruedas y patas.
Preguntas frecuentes
¿Qué problema aborda el método? Aborda la locomoción tolerante a fallos de robots cuadrúpedos que sufren pérdidas de potencia en los actuadores.
¿Cómo accede el actor a la información durante el despliegue? El actor desplegado utiliza únicamente un historial de observaciones propioceptivas.
¿Qué papel desempeña la temporización adaptativa de la marcha? Una acción de frecuencia de marcha aprendible permite a la política adaptar la temporización de los pasos cuando la actuación está degradada.
¿Qué trabajo futuro se propone? El trabajo futuro incluye la reconstrucción del terreno a bordo, políticas unificadas de locomoción y recuperación tras caídas, y tolerancia a fallos en sistemas híbridos con ruedas y patas.