无人机正越来越多地应用于野火应急响应。有人驾驶的无人机可用于探测热点，另一些则搭载灭火设备。然而，这些系统依赖人工操作，因而受到作业持续时间和规模扩展能力的限制。近年来，人工智能（AI）技术不断进步，尤其是无人机（UAV）与深度学习模型的结合，正加速推动更加自主、高效的野火管理策略发展。
引言
尽管取得了这些进展，当前的无人机系统（UAS）在野火监测方面仍受带宽限制和持续人工监管的制约。为应对这些挑战，近期研究正致力于构建由多架无人机构成的分层平台，以持续覆盖火场；开发低计算开销、可实时运行的协同学习算法，用于机载火焰检测与制图；并将最终火场地图传输给相关利益方。
与此同时，研究人员也在努力预测极端条件下的火势蔓延。他们采用概率代理模型，以近似那些难以直接计算目标结果的数学模型。为了降低火势快速演变场景中的决策延迟，研究人员还提出了融合大语言模型（LLM）的智能体，用于动态环境中的实时决策。
近期，多模态大语言模型已被引入无人机集群，使其能够对野火进行智能协同与合作观测。这一方法有望显著提升态势感知能力和响应效率。此外，群体智能在搜救行动中也展现出良好前景，可为灾区人员搜寻提供可扩展的解决方案。
回放与归一化
每个智能体都会将自身经历存入回放缓冲区，其中包括观测、动作、裁剪后的奖励、下一时刻的障碍物状态以及回合终止标志。
评论家网络按照双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient）架构进行更新，使用裁剪后的目标 Q 值和两个评论家网络。在每个回合中，系统通过增强策略探索与评估（Augmented Policy Exploration and Evaluation，APE2），以不同水平的高斯噪声生成多个动作候选。随后，由多个评论家网络对这些候选动作进行评估。
环境采用 Welford 在线算法，计算三项关键奖励成分的均值和方差：接近度、探索度和能耗。这些成分分别进行归一化，再通过加权系数组合。接近度权重为 1.5，探索度权重为 1.2，能耗权重为原始公式指定的数值。
在回放缓冲区完成 20,000 个环境步的预热后，训练才会开始；归一化则在收集到 2,000 条状态转移后启动。
策略与候选动作选择
演员网络为每架无人机生成一个基础动作向量，作为候选动作选择的基础。为提升多样性，系统在多个层面加入随机噪声和面向火场的启发式策略：无人机远离火源时鼓励探索，距离过近时则促使其撤离。
系统首先依据模拟即时奖励为每个候选动作评分。评分综合考虑接近度塑形、最优奖励逻辑，以及对距离不安全或长时间静止行为的惩罚。
为评估长期价值，系统将每个候选动作输入评论家网络，并对多个评论家给出的 Q 值取平均。随后从每个 Q 值中减去少量能耗惩罚，以抑制低效或不稳定的移动。同时，系统还在演员网络一侧加入正则化，以促进平滑控制。
最终执行调整后得分最高的候选动作。候选动作的得分由评论家估计值和能耗惩罚共同计算，使无人机能够学习稳健的火情跟踪、探索和碰撞规避策略。
讨论
在所有场景中，训练都带来了回合奖励增加、回合持续时间延长、边界碰撞减少以及移动频率提高等变化。损失曲线趋于稳定，并且在 1,000 个训练回合期间，所有场景特定指标都显示出无人机行为的可测量改善。
结论
这些发现应谨慎解读。模拟环境中导航能力和火情跟踪能力的提升，并不意味着无人机在真实野火条件下也能取得相同表现。模拟环境忽略了风、地形起伏、传感器噪声和通信延迟等关键现实因素，而这些因素都可能影响无人机行为。
此外，训练组件与性能改善之间观察到的关系并不能证明直接因果关系；我们无法断定奖励塑形、课程设计或多智能体协同中的任何单一因素应对结果负全部责任。相反，结果表明，这些组件共同支撑了学习过程。
未来研究可以通过引入风等环境扰动或通信约束，探索更加真实的火灾动态。测试不同的奖励结构，或比较不同的强化学习算法，也有助于确定哪些方法最适合野火监测任务。增加场景数量并扩展火焰形状的多样性，将进一步增强研究结果的普适性。
总而言之，结果表明，经过训练的智能体在训练过程中逐渐形成了更安全、更具结构性的导航行为。虽然这些发现凸显了强化学习用于野火监测的潜力，但要全面理解这一方法的优势与局限，仍需要开展更多实验，并构建更复杂的模拟环境。
本研究为未来改进自主野火跟踪系统，以及探索其在环境监测领域的更广泛应用奠定了基础。总体而言，这些发现展现了深度强化学习驱动的无人机系统的应用前景，同时也凸显出在高变化、更加贴近现实的野火环境中持续完善相关技术的必要性。
常见问题
多智能体无人机系统的用途是什么？ 该系统旨在支持自主野火监测、火情跟踪、区域探索和碰撞规避。
训练过程中如何存储无人机的经历？ 每个智能体都会将观测、动作、裁剪后的奖励、下一时刻的障碍物状态以及回合终止标志存入回放缓冲区。
如何选择动作候选？ 系统依据模拟即时奖励、评论家估计值、能耗惩罚和演员网络一侧的正则化对候选动作进行评估，并执行调整后得分最高的候选动作。
哪些局限性会影响研究结论？ 模拟环境忽略了风、地形起伏、传感器噪声和通信延迟等因素。因此，模拟环境中的表现并不保证在真实野火条件下也能取得同等效果。