一套全新的分层框架，将强化学习与模型预测控制相结合，让速度较慢的自动驾驶赛车也能抵挡更快的对手。在仿真中，该系统将被超车前的平均时间从 8.8 秒延长至 14.6 秒，同时利用了 83.4% 的可用轮胎力，并以适合实时运行的 30 Hz 频率工作。
目录
研究人员构建了什么
传统的自动驾驶竞速研究通常聚焦于缩短单圈时间——以尽可能快的速度绕过赛道。而这篇论文研究的是相反的情形：当你的赛车比身后的对手更慢时，该怎么办？研究团队设计了一套防守封堵系统，在将车辆推向物理极限的同时，阻止更快的对手完成超车。
该框架采用分层结构。顶层的强化学习智能体基于 Soft Actor-Critic，在Frenet 坐标系中运行——这是一种沿着赛道弯曲参考线建立的坐标系。RL 层学习战略性的封堵行为：决定占据多少横向空间，以及应当遵循怎样的速度曲线。它输出的是一组考虑赛道几何形状的防守参考值。
这些参考值随后会传递给底层的非线性模型预测控制器（NMPC）。NMPC 将防守视为一个空间调节问题：在遵守轮胎摩擦极限的前提下，尽量让赛车保持在赛道上的特定占位区域内。整个控制闭环平均每次求解耗时 33.3 ms，因此能够在 Thunderhill West 赛道的仿真环境中实时应对对手的攻防互动。
关键结果
研究团队将这套 RL 引导的防守控制器，与没有显式防守封堵机制的基线系统进行了比较。结果十分明确：
| 指标 | 基线系统 | RL-MPC 防守系统 | 改进情况 |
|---|---|---|---|
| 平均超车时间 | 8.8 s | 14.6 s | +66% |
| 轮胎力利用率 | — | 83.4% | 接近极限 |
| 平均求解时间 | — | 33.3 ms | 满足实时要求 |
| 求解时间标准差 | — | 13.9 ms | 稳定 |
这套防守框架显著减缓了对手沿赛道推进的速度。83.4% 的轮胎力利用率表明，车辆在没有失控的情况下，已经非常接近摩擦极限运行——这对竞速至关重要。33.3 ms 的求解时间完全处于 30 Hz 控制回路的要求范围内，意味着该系统只需极低的延迟，就有望运行在真正的自动驾驶赛车上。
系统如何工作
该系统将问题拆分为两个相互关联的组成部分。
战略层（SAC 策略）： 这个强化学习智能体在 Frenet 空间中工作——其中一个轴沿赛道中心线方向延伸（纵向），另一个轴与其垂直（横向）。RL 智能体会观测两辆车的相对位置和速度，以及前方赛道的曲率。随后，它输出期望的横向偏移量（赛车应向左或向右偏移多远）和目标纵向推进速率。智能体在仿真环境中接受训练，以最大化被超车前的时间；换言之，它逐渐学会何时强硬封堵、何时暂时让行，以便稍后重新形成有效防守。
战术层（NMPC）： 模型预测控制器接收 RL 生成的参考值，并将其转化为转向、油门和制动指令。它把防守表述为一个空间占位调节问题：NMPC 会对偏离 RL 期望横向位置的行为，以及让对手获得纵向进展的行为施加代价。系统通过轮胎力圆约束强制满足摩擦限制，从而确保赛车即使在极限状态下行驶，也不会超出物理可行范围。控制器在每个时间步执行一次非线性优化，并采用滚动时域方式不断向前求解。
其中的关键创新在于空间正则化：MPC 不再只追求速度，而是将防守占位——让赛车保持在对手与下一个弯角之间——置于几乎与速度同等重要的位置。这样一来，如果理想赛车线会给对手留下超车机会，车辆就不会盲目选择那条线路。
这对机器人技术为何重要
防守驾驶的意义远不止赛道竞速。任何必须在对抗性或竞争性环境中运行的自主系统，都需要理解封堵与空间协商。穿行于密集通道的仓储机器人、安防巡逻机器人，甚至在混乱物流中心中工作的自动驾驶叉车，都可能从类似策略中受益——防止其他智能体抢占关键位置。
RL-MPC 分层方法也为其他高速机器人控制问题提供了一个范式：由学习得到的战略层设定抽象目标，再由传统优化层处理动力学与约束。对于那些单独依赖策略学习会因探索过程而过于危险、单独依赖纯优化又会因无法准确预测对手行为而过于脆弱的系统来说，这种混合架构尤其具有吸引力。
如需了解机器人在受限共享空间中的运行案例，可参阅 Robot Overflow 上的仓储机器人。
局限性与未决问题
该系统目前只在仿真环境中针对单个对手进行了测试。要验证其实际能力，还必须在真实赛道上进行测试——轮胎模型、传感器噪声以及路面变化都会影响性能。论文假设对手遵循已知或已学习的策略；如何推广到风格未知的对手，仍是一个开放问题。此外，RL 训练需要投入大量仿真时间，如何在迁移到真实硬件后避免性能下降，也并非易事。最后，当前方法只处理一对一的对抗竞速；多车辆场景（例如三车或四车编队）则需要从根本上不同的空间推理方法。
常见问题
这套系统是为量产自动驾驶汽车设计的吗？ 不是。它面向的是高性能自动驾驶竞速。不过，这种 RL-MPC 分层结构可能会影响未来的驾驶辅助系统或紧急避险系统设计。
它与标准路径跟踪有什么不同？ 标准路径跟踪会沿着预先计算好的赛车线行驶。而这套系统会根据对手的位置主动调整自身的空间占位，以实施封堵；它牺牲了一部分纯速度，换取更有利的防守位置。
运行这套系统需要强大的硬件吗？ 报告中的 33.3 ms 求解时间是在配备 GPU 用于 RL 推理的标准桌面 CPU 上实现的。真实赛车平台需要同等水平的计算配置，但其延迟已经低到足以支持实时运行。
这套系统能否反向工作（从后方防守）？ 论文关注的是慢车位于前方时的防守。同样的分层方法理论上也可以适配从后方防守的情形（例如封堵内线超车），但论文并未对此进行明确测试。
结论
通过将强化学习战略层与模型预测控制战术层结合起来，这项研究为自动驾驶赛车提供了一种有原则的方式，以抵挡速度更快的对手。在接近轮胎摩擦极限、同时满足实时运行要求的情况下，系统将被超车时间延长了 66%。这表明，学习得到的空间调节策略能够胜过单纯依赖反应式控制或单纯追求单圈时间的方案。
防守型 RL-MPC 策略能否让自动驾驶竞速比人类驾驶更安全吗？