来自苏黎世大学的研究人员使用强化学习训练了一种无人机竞速策略，其速度与之前最好的方法相当，同时无需任何微调即可泛化到全新的赛道。这一突破表明，敏捷无人机可以在动态的真实环境中可靠部署，而无需针对每个赛道进行大量重新训练。
目录
研究人员构建了什么
该团队开发了一个强化学习（RL）流程，训练单个无人机竞速策略，使其能够在从未见过的赛道上高速飞行。与早期要么牺牲泛化性换取原始性能，要么需要昂贵的每赛道自适应的方法不同，这种方法两者兼得。
该策略完全在仿真中训练，使用自定义奖励结构，鼓励激进的、时间最优的飞行，同时保持稳定性。关键创新在于，学习到的行为无需任何额外训练或调优即可迁移到新赛道——这种特性称为零样本泛化。研究人员在物理四旋翼无人机上对现实无人机竞速课程以及各种模拟赛道（包括人工设计的赛道和基于样条的布局）进行了评估。
他们还将RL方法与最先进的轨迹优化算法和之前的RL基线进行了比较。结果表明，新策略的圈速与完全了解赛道的基于优化规划器相当，同时对未知环境更具鲁棒性。
关键结果
论文的核心结果是，RL策略在训练期间未见过的赛道形状和尺寸上实现了零样本泛化。在一组人工设计的赛道上，该策略的平均圈速达到了最佳基于优化方法的103%以内，而优化方法需要针对特定赛道进行调优。在样条生成的赛道上，其表现达到了最优性能的107%以内。
重要的是，该策略没有牺牲安全性：与专门方法相比，它保持了类似的飞行包线和碰撞率。研究人员还进行了消融研究，表明奖励设计的每个组成部分都是必要的——移除任何一项都会导致速度降低或碰撞。
虽然具体数值在补充材料中有详细说明，但论文一致报告RL策略在不提前知道赛道布局的情况下缩小了与“接近最优”性能的差距。这与之前的RL方法形成对比，后者在泛化到新环境时常遭受10–20%的速度损失。
工作原理
训练流程使用标准的近端策略优化（PPO）算法，配合精心设计的奖励函数，以平衡速度、平滑度和赛道贴合度。无人机的观测仅限于机载传感器——IMU、摄像头和状态估计——使得该策略适合在最少传感条件下部署于现实世界。
关键的技术洞见在于，奖励函数编码了一种“与赛道无关”的竞速方式：不是奖励向已知门序列的进展，而是奖励在给定闭合环路上最小化圈时间，同时惩罚大的角速度和接近碰撞。这迫使网络学习一种通用的飞行风格，能够跨越不同的赛道几何形状。
训练在一个高保真模拟器中进行，该模拟器随机化赛道布局、起始位置和环境条件（例如风、光照）。每个训练回合使用随机生成的赛道，因此策略永远不会看到相同的布局两次。这种多样性对实现零样本泛化至关重要。
该策略实现为一个深度神经网络，约200万个参数，运行在配备Pixhawk飞控和配套计算机的四旋翼无人机上。推理每个控制步仅需不到5毫秒，支持在高达20米/秒的速度下进行实时闭环飞行。
这对机器人技术为何重要
对于无人机竞速社区来说，这一结果是一个实际证明，表明端到端RL可以在速度和鲁棒性方面与基于模型的优化竞争——甚至在某些方面超越。但其影响远不止于竞速。
巡检、搜救和物流无人机通常在不可预测的环境中运行，预映射飞行路径是不可能的。零样本泛化的策略消除了每次任务训练或特定赛道调优的需要，大大降低了部署成本。这与机器人技术中向能够即时适应的基础模型发展的广泛趋势相一致。
这项工作也为其他敏捷机器人领域提供了模板：任何需要机器人快速通过一系列航点的任务——例如在未知地形中的自动驾驶地面车辆或高速拾放中的机械臂——都可以受益于类似的RL方法，优先考虑泛化而不牺牲性能。
对于评估无人机系统的运营经理和工程师来说，这项研究表明，当前一代基于RL的自动驾驶仪已准备好用于结构化但动态的现实世界试验。采用此类策略的产品可以降低自主飞行在建筑、农业和物流领域的门槛。
查看二手机器人，这些机器人可以采用类似的敏捷控制方法进行适配，或探索受益于鲁棒导航的仓库机器人。
局限性与开放问题
该策略仅在大致平坦且没有复杂障碍物的赛道上进行了评估。现实世界中具有狭窄空间、电线或移动物体的室外环境仍然是一个挑战。该论文也没有解决电池约束或任务级规划——假设无人机以满电池在同一赛道上开始并完成。
另一个开放问题是该方法如何扩展到更大、更多样化的无人机平台。当前结果针对单个四旋翼模型；未测试跨不同质量、电机和空气动力学参数的泛化。最后，训练过程计算密集且需要高保真模拟器，对于没有专用模拟基础设施的团队来说可能是一个障碍。
常见问题解答
这与无人机竞速的传统轨迹优化方法相比如何？ 传统方法如最小加加速度轨迹规划仅在完全知道赛道布局时才能实现最优圈速。新的RL策略在没有赛道特定信息的情况下就能匹配这些时间。
无人机需要哪些传感器来飞这个策略？ 该策略依赖于标准机载传感器：IMU、用于定位的摄像头和状态估计。配套计算机运行神经网络推理。
这个策略可以在任何四旋翼上部署吗？ 训练假设了特定的无人机动力学模型。将其迁移到不同的无人机可能需要微调或使用变化的动力学参数重新训练。
这种方法在户外大风环境中有效吗？ 是的，模拟器在训练中包括随机风干扰，真实世界测试在室内和室外有微风条件下进行。
结论
这项研究表明，强化学习可以弥合敏捷无人机飞行中性能与泛化之间的长期差距。一个在随机生成赛道上训练的单一策略可以在全新线路上以接近最优的速度竞速，无需任何重新调优。这些发现为现实生活中鲁棒、高速自主无人机的实际应用指明了一条可行之路。
强化学习最终能否让自主无人机竞速像人类飞行员一样可靠？