Los drones se utilizan cada vez más en las labores de respuesta ante incendios forestales. Los UAV pilotados por personas se emplean para detectar focos de calor, mientras que otros incorporan herramientas para sofocar las llamas. Sin embargo, estos sistemas dependen de operadores humanos, lo que limita el tiempo de operación y la capacidad de ampliar su despliegue. Los avances recientes en inteligencia artificial (IA), especialmente la integración de vehículos aéreos no tripulados (UAV) con modelos de aprendizaje profundo, han acelerado el desarrollo de estrategias más autónomas y eficaces para la gestión de incendios forestales.
Introducción
A pesar de estos avances, los sistemas aéreos no tripulados (UAS) actuales presentan limitaciones para vigilar incendios forestales debido a las restricciones de ancho de banda y a la necesidad constante de supervisión humana. Para afrontar estos desafíos, diversas iniciativas recientes buscan establecer plataformas jerárquicas compuestas por múltiples UAV que mantengan una cobertura continua del incendio, desarrollar algoritmos colaborativos de aprendizaje en tiempo real y bajo coste computacional para detectar y cartografiar el fuego a bordo, y transmitir los mapas finales del incendio a las partes interesadas.
Paralelamente, los esfuerzos de modelización se han centrado en predecir la propagación del fuego en condiciones extremas mediante modelos sustitutos probabilísticos, que aproximan modelos matemáticos cuando el resultado de interés no puede calcularse fácilmente. Para reducir la latencia en escenarios de rápida evolución, también se han propuesto agentes potenciados por modelos de lenguaje de gran escala (LLM) capaces de tomar decisiones en tiempo real en entornos dinámicos.
Recientemente, los LLM multimodales se han integrado en enjambres de UAV para permitir una coordinación inteligente y la observación colaborativa de incendios forestales. Este enfoque podría mejorar de forma significativa el conocimiento de la situación y la eficacia de la respuesta. Además, la inteligencia de enjambre ha demostrado ser prometedora en operaciones de búsqueda y rescate, al ofrecer soluciones escalables para localizar personas en zonas afectadas por desastres.
Repetición y normalización
Cada agente almacena su experiencia en un búfer de repetición, que incluye observaciones, acciones, recompensas recortadas, estados del siguiente obstáculo e indicadores de finalización del episodio.
Las actualizaciones del crítico siguen una arquitectura Twin Delayed Deep Deterministic Policy Gradient, que utiliza valores Q objetivo recortados y dos redes críticas. Durante cada episodio, Augmented Policy Exploration and Evaluation (APE2) genera múltiples candidatos de acción con distintos niveles de ruido gaussiano. Después, varios críticos evalúan esos candidatos.
El entorno utiliza el algoritmo en línea de Welford para calcular la media y la varianza de tres componentes fundamentales de la recompensa: proximidad, exploración y energía. Estos componentes se normalizan por separado y luego se recombinan mediante coeficientes ponderados. El peso de proximidad es 1,5, el de exploración es 1,2 y el de energía es el valor especificado por la fórmula original.
El entrenamiento comienza después de un calentamiento del búfer de repetición de 20.000 pasos del entorno, mientras que la normalización se inicia tras recopilar 2.000 transiciones.
Política y selección de candidatos
La red actor genera un vector de acción base para cada dron, que sirve como punto de partida para seleccionar candidatos. Para promover la diversidad, se aplican ruido estocástico y heurísticas orientadas al fuego en varios niveles: se fomenta la exploración cuando el dron está lejos del fuego y la retirada cuando se encuentra demasiado cerca.
Primero, cada candidato recibe una puntuación basada en su recompensa inmediata simulada, que incorpora el modelado de la proximidad, la lógica de bonificación óptima y penalizaciones por mantener distancias inseguras o permanecer inmóvil.
Para evaluar el valor a largo plazo, cada candidato se introduce en la red crítica, que promedia los valores Q de varios críticos. A cada valor Q se le resta una pequeña penalización energética para desalentar los movimientos ineficientes o erráticos. También se aplica una regularización en el lado del actor para favorecer un control fluido.
Se selecciona para su ejecución el candidato con la puntuación ajustada más alta. Las puntuaciones se calcularon mediante estimaciones de los críticos y penalizaciones energéticas, lo que permitió a los drones aprender políticas robustas para seguir el fuego, explorar y evitar colisiones.
Discusión
En todos los escenarios, el entrenamiento produjo un aumento de las recompensas por episodio, una mayor duración de los episodios, menos colisiones con los límites y un movimiento más frecuente. Las curvas de pérdida se estabilizaron y todas las métricas específicas de cada escenario mostraron mejoras medibles en el comportamiento de los drones durante las 1.000 épocas de entrenamiento.
Conclusión
Estos resultados deben interpretarse con cautela. Una navegación y un seguimiento del fuego mejorados en simulación no garantizan un rendimiento similar en condiciones reales de incendio forestal. El entorno simulado omite factores esenciales del mundo real, como el viento, el terreno irregular, el ruido de los sensores y los retrasos de comunicación, todos ellos capaces de influir en el comportamiento de los drones.
Además, las relaciones observadas entre los componentes del entrenamiento y las mejoras de rendimiento no demuestran una causalidad directa; no es posible atribuir la responsabilidad exclusiva a un solo elemento —el modelado de recompensas, el diseño del currículo o la coordinación multiagente—. En cambio, los resultados sugieren que estos componentes contribuyen conjuntamente al proceso de aprendizaje.
Los estudios futuros podrían explorar dinámicas del fuego más realistas incorporando perturbaciones ambientales, como el viento, o restricciones de comunicación. Probar estructuras alternativas de recompensas o comparar distintos algoritmos de aprendizaje por refuerzo también ayudaría a determinar qué enfoques son más eficaces para las tareas de vigilancia de incendios forestales. Ampliar el número de escenarios y aumentar la diversidad de las formas del fuego reforzaría aún más la generalización de los resultados.
En resumen, los resultados indican que los agentes entrenados desarrollaron comportamientos de navegación más seguros y estructurados a lo largo del entrenamiento. Aunque estos hallazgos ponen de relieve el potencial del aprendizaje por refuerzo para vigilar incendios forestales, se necesitan experimentos adicionales y simulaciones más complejas para comprender plenamente las fortalezas y limitaciones de este enfoque.
El estudio sienta las bases para futuras investigaciones orientadas a mejorar los sistemas autónomos de seguimiento de incendios forestales y a explorar aplicaciones más amplias en la vigilancia medioambiental. En conjunto, estos hallazgos demuestran el potencial de los sistemas UAV impulsados por aprendizaje profundo por refuerzo, al tiempo que subrayan la necesidad de seguir perfeccionándolos en entornos de incendios forestales realistas y muy variables.
Preguntas frecuentes
¿Cuál es el propósito del sistema multiagente de UAV? El sistema está diseñado para facilitar la vigilancia autónoma de incendios forestales, el seguimiento del fuego, la exploración y la prevención de colisiones.
¿Cómo se almacenan las experiencias de los UAV durante el entrenamiento? Cada agente almacena en un búfer de repetición las observaciones, acciones, recompensas recortadas, estados del siguiente obstáculo e indicadores de finalización del episodio.
¿Cómo se seleccionan los candidatos de acción? Los candidatos se evalúan mediante recompensas simuladas inmediatas, estimaciones de los críticos, penalizaciones energéticas y regularización en el lado del actor. Se ejecuta el candidato con la puntuación ajustada más alta.
¿Qué limitaciones afectan a las conclusiones del estudio? La simulación omite factores como el viento, el terreno irregular, el ruido de los sensores y los retrasos de comunicación. Por tanto, el rendimiento en simulación no garantiza un rendimiento equivalente en condiciones reales de incendio forestal.