산불 대응 현장에 드론이 increasingly 활용되고 있다. 인력이 조종하는 UAV는 화재 지점을 탐지하고, 다른 UAV는 불길을 진압하는 장비를 탑재한다. 그러나 이러한 시스템은 인간 운용자에 대한 의존도가 높아 운용 지속 시간과 확장성이 제한된다. 최근 인공지능(AI), 특히 무인항공기(UAV)와 딥러닝 모델의 결합이 발전하면서 보다 자율적이고 효과적인 산불 관리 전략의 개발도 빨라지고 있다.
서론
이러한 발전에도 불구하고 현재의 무인항공시스템(UAS)은 통신 대역폭의 제약과 지속적인 인간 감독의 필요성으로 인해 산불 모니터링에 한계가 있다. 이를 해결하기 위해 최근에는 장시간 화재 감시를 유지할 수 있는 다수 UAV의 계층형 플랫폼 구축, 기체 내 화재 탐지와 지도 작성을 위한 저연산량 실시간 협업 학습 알고리즘 개발, 최종 화재 지도의 관계 기관 전송을 목표로 하는 연구가 진행되고 있다.
한편, 모델링 연구에서는 극한 조건에서의 화재 확산을 예측하기 위해 확률적 대체 모델을 활용해 왔다. 이는 관심 있는 결과를 수학적 모델로 직접 계산하기 어렵기 때문에 해당 모델을 근사하는 방식이다. 빠르게 변화하는 화재 상황에서 지연 시간을 줄이기 위해, 동적 환경에서 실시간 의사결정을 수행하는 대규모 언어 모델(LLM) 기반 에이전트도 제안되었다.
최근에는 지능적인 협업과 산불 공동 관측을 가능하게 하기 위해 멀티모달 LLM을 UAV 군집에 통합하는 연구도 이루어지고 있다. 이러한 접근법은 상황 인식과 대응 효율을 크게 높일 수 있다. 또한 군집 지능은 수색·구조 작업에서도 가능성을 보여 왔으며, 재난 지역에서 실종자나 고립된 사람을 찾는 확장 가능한 해법을 제공한다.
리플레이 및 정규화
각 에이전트는 관측값, 행동, 클리핑된 보상, 다음 장애물 상태, 에피소드 종료 플래그를 포함한 경험을 리플레이 버퍼에 저장한다.
크리틱 업데이트에는 Twin Delayed Deep Deterministic Policy Gradient 아키텍처가 사용되며, 클리핑된 타깃 Q값과 두 개의 크리틱 네트워크를 활용한다. 각 에피소드에서는 Augmented Policy Exploration and Evaluation(APE2)을 사용해 서로 다른 가우시안 노이즈 수준을 적용한 여러 행동 후보를 생성한다. 이후 여러 크리틱이 후보를 평가한다.
환경은 Welford 온라인 알고리즘을 사용해 근접성, 탐색, 에너지라는 세 가지 핵심 보상 요소의 평균과 분산을 계산한다. 각 요소는 개별적으로 정규화한 뒤 가중 계수를 적용해 다시 결합한다. 근접성 가중치는 1.5, 탐색 가중치는 1.2이며, 에너지 가중치는 원래 수식에서 지정한 값이다.
학습은 리플레이 워밍업 단계에서 환경 스텝을 20,000회 수행한 뒤 시작하며, 정규화는 수집된 전이 데이터가 2,000개에 도달한 후 시작된다.
정책 및 후보 선택
액터 네트워크는 각 드론에 대한 기본 행동 벡터를 생성하며, 이는 후보 선택의 기반이 된다. 행동의 다양성을 높이기 위해 여러 수준에서 확률적 노이즈와 화재 방향 휴리스틱을 적용한다. 화재에서 멀리 떨어져 있을 때는 탐색을 유도하고, 지나치게 가까워지면 후퇴하도록 하는 방식이다.
각 후보는 먼저 시뮬레이션상의 즉각적인 보상을 기준으로 점수를 받는다. 이 보상에는 근접성 보상 조정, 최적 행동 보너스 로직, 위험한 거리와 정지 행동에 대한 페널티가 반영된다.
장기적인 가치를 평가하기 위해 각 후보를 크리틱 네트워크에 입력하고, 여러 크리틱의 Q값을 평균한다. 비효율적이거나 불안정한 움직임을 억제하기 위해 각 Q값에서 작은 에너지 페널티를 차감한다. 부드러운 제어를 유도하기 위해 액터 측 정규화도 적용한다.
조정된 점수가 가장 높은 후보를 실행한다. 후보 점수는 크리틱 추정값과 에너지 페널티를 사용해 계산되므로, 드론은 화재 추적, 탐색, 충돌 회피를 위한 견고한 정책을 학습할 수 있다.
논의
모든 시나리오에서 학습이 진행되면서 에피소드 보상과 에피소드 지속 시간이 증가했고, 경계 충돌은 감소했으며, 이동 빈도는 높아졌다. 손실 곡선은 안정화되었고, 1,000회 에피소드에 걸친 학습 기간 동안 모든 시나리오별 지표에서 드론 행동이 측정 가능한 수준으로 개선되었다.
결론
이러한 결과는 신중하게 해석해야 한다. 시뮬레이션에서 향상된 항법과 화재 추적 성능이 실제 산불 환경에서도 동일한 성능을 보장하는 것은 아니다. 시뮬레이션 환경에는 바람, 불규칙한 지형, 센서 노이즈, 통신 지연 등 드론의 행동에 영향을 줄 수 있는 중요한 현실 요인이 포함되지 않았다.
또한 학습 구성 요소와 성능 향상 사이에서 관찰된 관계만으로 직접적인 인과관계를 확립할 수는 없다. 보상 설계, 커리큘럼 설계, 다중 에이전트 협업 가운데 어느 한 요소만이 결과의 원인이라고 단정할 수 없다. 오히려 결과는 이러한 요소들이 함께 학습 과정을 뒷받침한다는 점을 시사한다.
향후 연구에서는 바람과 같은 환경 교란이나 통신 제약을 도입해 보다 현실적인 화재 동역학을 구현할 수 있다. 또한 다양한 보상 구조를 시험하거나 여러 강화학습 알고리즘을 비교하면 산불 모니터링 작업에 가장 효과적인 접근법을 파악하는 데 도움이 될 수 있다. 시나리오의 수를 늘리고 화재 형태의 다양성을 확대하면 연구 결과의 일반화 가능성도 더욱 높아질 것이다.
요약하면, 학습된 에이전트는 학습이 진행되는 동안 더욱 안전하고 체계적인 항법 행동을 습득했다. 이러한 결과는 산불 모니터링에서 강화학습이 지닌 가능성을 보여 주지만, 이 접근법의 강점과 한계를 충분히 이해하려면 추가 실험과 더욱 복잡한 시뮬레이션이 필요하다.
이 연구는 자율 산불 추적 시스템을 개선하고 환경 모니터링의 더 넓은 분야로 적용 범위를 확장하기 위한 향후 연구의 기반을 제공한다. 종합하면, 이번 결과는 딥 강화학습 기반 UAV 시스템의 가능성을 보여 주는 동시에, 변동성이 큰 현실의 산불 환경에 적용하려면 지속적인 개선이 필요하다는 점을 강조한다.
자주 묻는 질문
다중 에이전트 UAV 시스템의 목적은 무엇인가요? 이 시스템은 자율 산불 모니터링, 화재 추적, 탐색, 충돌 회피를 지원하도록 설계되었다.
학습 중 UAV의 경험은 어떻게 저장되나요? 각 에이전트는 관측값, 행동, 클리핑된 보상, 다음 장애물 상태, 에피소드 종료 플래그를 리플레이 버퍼에 저장한다.
행동 후보는 어떻게 선택되나요? 후보는 시뮬레이션상의 즉각적인 보상, 크리틱 추정값, 에너지 페널티, 액터 측 정규화에 따라 평가된다. 조정된 점수가 가장 높은 후보가 실행된다.
연구의 결론에 영향을 미치는 한계는 무엇인가요? 시뮬레이션에는 바람, 불규칙한 지형, 센서 노이즈, 통신 지연 등의 요인이 반영되지 않았다. 따라서 시뮬레이션 성능이 실제 산불 환경에서 동일한 성능을 보장하지는 않는다.