用于足式运动的强化学习
尽管非对称 actor-critic 训练效果显著，但特权观测与非特权观测之间过大的信息鸿沟，可能限制 actor 仅凭奖励信号学习复杂行为的能力。近期研究在单阶段强化学习框架中引入辅助表征对齐机制，以应对这一问题。
方法
我们利用非对称训练弥合仿真与现实之间的差距：critic 可以访问明确的故障信息，而 actor 则仅凭本体感觉历史进行训练，去逼近由故障感知观测生成的特权潜在表征。最终得到的策略以 50 Hz 运行，为机器人具有驱动能力的关节输出位置目标以及步态频率项。
所提出的方法
我们将故障容错运动建模为部分可观测控制问题。训练期间可以获得完整的系统状态，但部署后的策略只能访问部分观测。这种信息不对称促使我们采用带有特权信息的非对称 actor-critic 框架。
为弥合 actor 与 critic 之间的信息鸿沟，我们引入辅助潜在表征对齐目标，鼓励训练过程中的actor 潜在表征逼近特权潜在表征。
结论
本文提出了一种面向执行器功率损失场景下故障容错运动的深度强化学习方法。该方法将非对称 actor-critic 架构与潜在表征对齐目标相结合，使 actor 能够根据本体感觉观测历史推断特权信息。
其中一个关键设计是加入可学习的步态频率动作，使策略能够自适应地调整步时。我们认为，对于更重型的四足机器人而言，在轻型平台上有效的快速反应策略难以直接扩展，因为这类机器人受到更严格的驱动能力限制，且存在更强的动态耦合。在驱动能力下降时，自适应步态时序因此变得至关重要。通过结合地形信息与步态频率调制，该策略无需预先设定故障腿策略，也不依赖严格的奖励塑形，便能实现稳健运动。
仿真结果验证了本体感觉历史与潜在表征对齐的重要性。在一台 68 kg 四足机器人上进行的 sim-to-sim 和零样本 sim-to-real 迁移，进一步证明了该方法在仿真环境与真实硬件之间能够保持一致的行为。未来工作包括集成机载感知以重建地形、学习统一的故障容错运动与跌倒恢复策略，以及探索混合轮腿系统中的故障容错能力。
常见问题
该方法解决什么问题？ 它面向执行器功率损失情况下四足机器人的故障容错运动问题。
部署时 actor 如何获取信息？ 部署后的 actor 仅使用本体感觉观测历史。
自适应步态时序发挥什么作用？ 可学习的步态频率动作使策略能够在驱动能力下降时自适应地调整步时。
未来有哪些研究方向？ 未来工作包括机载地形重建、统一的运动与跌倒恢复策略，以及混合轮腿系统中的故障容错。