当任务成功信号极其稀疏时，学习低层机器人控制策略颇具挑战。探索过程中可能会产生许多失败轨迹，才偶然遇到一条成功轨迹，因此几乎没有反馈可用于区分有用行为，或判断哪些动作至关重要。例如，机器人可能需要协调多项动作才能完成装配，也可能需要击打物体，使其到达远处的目标。动作顺序、时机和同时满足的约束，还会进一步限制成功轨迹的范围。
对于这类成功信号稀疏的任务，从失败轨迹中获得有信息量的反馈，对提升实际学习效率至关重要；否则，策略改进就必须等待罕见的成功探索。信号时序逻辑（STL）用于描述实值信号上的逻辑与时间要求。其鲁棒度语义能够定量衡量一条轨迹距离成功还有多大余量，而不只是给出二元信号。
为摊销这项计算，先前的研究使用 STL 鲁棒度作为奖励来训练反馈策略。然而，这仍将时间信用分配留给探索，而可微预测控制器仍依赖在线轨迹预测和备用机制。这些局限促使研究者通过对轨迹级鲁棒度求导来学习低层反馈策略，使失败运行轨迹也能成为有价值的训练信号。
本研究旨在利用 STL 任务规格，即使在失败运行轨迹中也提供改进信号，从而训练面向成功信号稀疏任务的低层机器人控制策略。实验结果表明，在六个基准任务中的五个上，该框架的平均成功率高于一组采用密集塑形奖励的强化学习基线。通过 STL-SVPG 在仿真中训练的策略，也能零样本迁移至实体硬件。
主要贡献如下：
- STL-SVPG：一种由任务规格驱动的策略学习框架，可将整体任务要求转化为低层反馈控制的可执行策略梯度，也能利用失败轨迹进行学习。
- 一种策略优化方法，在一组策略参数之间共享信息，将任务导向的改进与基于群体的探索相结合。
- 研究 STL 鲁棒度梯度如何引导改进，以及群体间的交互如何拓展探索并产生更优策略。
- 在两个真实世界任务中验证仅通过仿真训练的 STL-SVPG 策略。
相关工作
对于任务成功信号稀疏的学习问题，可以借助塑形奖励、显式任务进度表示或定量规格来提供帮助。本文讨论了上述各个方向的现有研究，以阐明本研究的贡献。
Stein 变分梯度下降
更新方向的两个组成部分分别代表：将粒子吸引至期望得分较高区域的吸引力，其中核函数值使粒子之间能够共享信息；以及防止模式坍缩的排斥力。
实验设置
实验选取了两种不同机器人形态上的稀疏成功信号任务。这些任务将连续控制与有序动作、事件触发响应以及基于物理接触的结果要求结合起来。这些场景用于检验算法能否学习成功的物理行为，同时满足导致成功信号极其稀疏的逻辑与时间规格。
学习算法主要在 Crazyflie 平台上进行测试，另有实验表明，同一算法也能泛化至 Franka Emika Panda 机械臂。
机器人仿真
Crazyflie 刚体动力学在 MuJoCo MJX 中进行仿真，采用级联机体角速度 PID 控制器、一阶电机动力学和依赖旋翼的气动阻力。仿真中的动作是归一化的总推力和机体角速度指令，预期频率为 100 Hz；控制和物理仿真则以 500 Hz 运行。
Panda 环境使用 MuJoCo 提供的七关节模型进行正向运动学计算和有界关节速度控制。关节位置以 5 ms 的间隔积分，每个动作保持五步，因此控制间隔为 25 ms。
任务
Crazyflie 必须在区域 A 内停留 0.6 秒以解锁，在解锁后 2 秒内进入区域 Q，随后在 10 秒内返回区域 H 的起点。在激活前进入 Q 是不允许的。
安全要求包括始终处于世界边界内。2 秒的进入时限从停留阶段结束时开始计算。
评估方案
性能以完整任务成功率衡量：当一次运行轨迹的完整任务规格具有正的精确鲁棒度时，即视为成功。对于每个主要基准任务，使用六个独立训练随机种子得到的策略，在一组包含 1,000 个保留初始条件的数据上进行评估。报告值为不同训练随机种子上的平均成功率和样本标准差。
策略评估使用确定性动作，而 TD-MPC2 使用其评估模式规划器。Branching 研究还会评估策略群体，以衡量其覆盖不同成功路线的能力。
结果
实验围绕以下问题展开：
- STL-SVPG 能否为成功信号极其稀疏的任务学习策略？
- 与密集奖励相比，直接优化 STL 鲁棒度有何作用？
- 维持策略群体能带来多少帮助？
- STL-SVPG 能否学习任务的多模态解？
- 在仿真中学习的策略能否迁移至真实机器人？
多样化的成功策略群体
研究使用 Branching 任务来观察所提出的算法是否能够学习多种解决方案。STL-SVPG 学到了多样化的成功策略群体，在六次运行中均保留了 Branching 任务的两条路线。
在 128 个保留初始条件上，最终选定策略的平均成功率为 99.65%。检查群体中的所有策略后发现，在 64 个粒子中，平均有 34 个策略选择 A–C 路线，30 个选择 B–D 路线。因此，高任务成功率与清晰且稳定执行的不同策略并存。
Crazyflie 仿真到现实的迁移
Crazyflie Random Cue 和 Ping-pong 在真实硬件上进行测试。由于 Ping-pong 需要与球发生物理接触，因此在无刷版 Crazyflie 周围安装了 3D 打印防护笼。
新部署策略使用更新后的场景和无人机防护笼几何模型，以及无刷电机动力学进行训练。对于 Ping-pong，任务成功条件也作了调整：只有当球从目标顶部进入时才算成功，以模拟一个盒子。这些变化显著降低了 Ping-pong 在仿真中的成功率，这是因为接触物理特性更难预测，且成功条件更加严格。发射器负责抛出球，并使用 RealSense 深度相机追踪球的轨迹。
致谢
OpenAI Codex 用于改进手稿中非技术部分的表达清晰度，并协助实现实验代码和绘图。所有技术内容、实验设计、结果和结论均由作者制定、验证并仔细审查。
常见问题
STL-SVPG 的设计目标是什么？ 它利用信号时序逻辑任务规格为低层机器人控制生成策略梯度，也能利用失败轨迹进行学习。
STL 鲁棒度如何帮助应对稀疏成功信号？ STL 鲁棒度能够定量衡量一条轨迹距离成功还有多大余量，而不只是提供二元成功信号。
实验涉及哪些机器人平台？ 实验主要使用 Crazyflie，也包括 Franka Emika Panda 机械臂。
Branching 任务的策略群体研究表明了什么？ 在六次运行中，策略群体都保留了两条路线；在 64 个策略中，平均有 34 个选择 A–C 路线，30 个选择 B–D 路线。