Control Predictivo Basado en Datos y Disparado por Eventos Mejorado con Aprendizaje por Refuerzo Profundo para un Brazo Robótico Blando 3D Accionado por Cables, por Cheng Ouyang, Moeen Ul Islam, Kaixiang Zhang, Zhaojian Li y Xiaobo Tan, presenta un marco que integra el Control Predictivo Basado en Datos con Descomposición en Valores Singulares (SVD-DeePC) con un agente de aprendizaje por refuerzo profundo (DRL) para activar adaptativamente las actualizaciones de optimización, reduciendo el costo computacional mientras se mantiene una alta precisión de seguimiento para brazos robóticos blandos accionados por cables. Simulaciones extensas y experimentos en hardware demuestran que la política aprendida logra una relación costo-precisión más consistente y adaptativa en comparación con los métodos de disparo por eventos basados en umbrales estáticos.
Generalización a Trayectorias No Vistas
Para evaluar más a fondo la robustez y la capacidad de generalización del marco RL-ET-DeePC propuesto, las políticas entrenadas se prueban en una trayectoria de referencia de múltiples pasos no vista que difiere de las encontradas durante el entrenamiento. Aunque el controlador DeePC opera en la posición cartesiana de la punta (x, y, z) según lo definido en la Sección II, los resultados se presentan en términos del ángulo de flexión y la dirección de flexión. Esta trayectoria contiene múltiples cambios abruptos tanto en el ángulo de flexión como en la dirección de flexión, desafiando al controlador bajo variaciones transitorias rápidas.
Conclusión y Discusión
Se propone un marco RL-ET-DeePC para el control eficiente computacionalmente y de alta precisión de brazos robóticos blandos accionados por cables. Al integrar SVD-DeePC con un agente DRL para gobernar adaptativamente las actualizaciones de optimización, el enfoque alivia la carga computacional del DeePC periódico mientras preserva la precisión de seguimiento. Simulaciones extensas y experimentos en hardware demuestran que la política aprendida logra una relación costo-precisión más consistente y adaptativa que el disparo por eventos basado en umbrales estáticos. La contribución radica en formular el disparo por eventos como una decisión aprendida dependiente del estado, y el marco es agnóstico con respecto al algoritmo DRL específico.
Preguntas Frecuentes
¿Cuál es la principal ventaja del marco RL-ET-DeePC sobre el DeePC estándar? El marco reduce el costo computacional al usar una política aprendida para activar adaptativamente las actualizaciones de DeePC solo cuando es necesario, en lugar de ejecutar el optimizador en cada paso de tiempo.
¿Cómo decide el agente DRL cuándo activar una actualización de optimización? El agente DRL observa el estado actual del sistema, incluido el error de seguimiento, el historial de control y el estado de flexión, y decide si ejecutar una nueva optimización DeePC o reutilizar la solución de control anterior.
¿Requiere el marco un modelo del brazo robótico blando? No, DeePC es un método basado en datos que trabaja directamente con datos de entrada-salida, y el agente RL aprende su política de activación a partir de la experiencia sin necesidad de un modelo analítico.
¿Se puede aplicar este enfoque a otros tipos de robots blandos? Sí, el marco es agnóstico con respecto al algoritmo DRL específico y al hardware del robot, lo que lo hace transferible a otros sistemas robóticos blandos accionados por cables o tendones.