FAITH 为机器人配备了一种学习式安全过滤器,用于检查动作能否确保身体各部位避开受保护区域;与此同时,独立的任务策略负责完成指定工作。在仿真和定性人形机器人试验中,只要安全行为仍可实现,该方法就能保持任务表现;当推搡导致接触无法避免时,则会引导机器人采取预测伤害较低的动作。
目录
研究人员构建了什么?
FAITH 是一个强化学习框架,面向需要执行任务、同时让身体避开受保护区域的机器人。这比判断机器人在某一瞬间是否安全更难。腿式机器人此刻可能与障碍物保持距离,但移动速度过快,下一刻便无法避开;也可能因受到扰动而无计可施,无法避免碰撞。
该系统将任务执行与安全保障分开处理。任务策略通过任务奖励学习如何实现目标;另一个独立的学习式安全过滤器则根据安全行为是否仍然可行,对策略的动作进行评估和调整。该过滤器会考虑未来的安全性,而不只是对机器人的当前位置作出反应。
FAITH 也能处理没有安全动作可用的情况。它不会切换到单独的紧急控制器,而是通过同一个过滤器选择预测峰值伤害最低的动作。研究人员在双积分器系统、Safety Gym 环境和高维人形机器人仿真中测试了这一方法,随后还在实体人形机器人上进行了演示。
主要结果是什么?
研究人员报告称,在各项仿真中,只要安全约束仍可满足,FAITH 就能在维持安全的同时取得较高的任务表现。这里的“可行”是指机器人仍有办法避免违反安全约束。一旦安全不再可实现,控制器会降低预测伤害,而不会假定安全选项依然存在。
评估围绕三个问题展开:该方法能否在保持安全的同时保留任务回报;在无法避免违反安全约束时能否减少伤害;以及能否扩展至人形机器人的全身约束。对比方法包括 RCRL(一种考虑可行性的原始—对偶方法)、RC-CRPO(一种面向可行性的原始方法改进版),以及一种基于降阶模型的控制障碍函数方法。
实体演示展示了机器人受到两种不同力度推搡后的反应。受到较轻推搡后,人形机器人在避开箱子的同时恢复了平衡;受到较强推搡后,它倒向远离受保护区域的一侧,落在腿部和躯干上,而没有让头部或手部发生受到惩罚的接触。所提供的文本没有数值基准测试分数,因此无法报告具体的性能差距。

FAITH 如何工作?
其核心组件是对“最优安全评价器”的近似。在强化学习中,评价器会估计某个动作或状态预期有多好。FAITH 的安全评价器则帮助系统判断未来的动作能否让机器人保持在安全约束范围内。这对腿式机器人尤为重要,因为惯性、身体形态和恢复能力等因素,都可能让当前看似安全的路径转瞬间变得危险。
控制过程中,任务策略会提出一个动作,随后由学习式前馈安全过滤器对其进行检查。如果该动作会违反学习得到的安全条件,过滤器就会修改动作,使机器人保持在安全可行区域内。由于过滤器是通过学习得到的,它能够直接进行这种调整,而无需在每个控制步骤都针对高维动作空间求解耗时的在线搜索问题。
任务策略采用 PPO 训练,这是一种常见的强化学习方法;训练使用任务奖励,而非与之竞争的安全惩罚。将两者分开,可以避免要求单一策略目标在安全与任务进度之间权衡。根据论文所述的假设——过滤器完美无误且全局策略优化成功——经过过滤的策略在可行状态下能够恢复受约束最优解。这是一项有条件的结果,并不代表带有估计误差的学习式系统也能获得保证。
当过滤器估计不存在安全动作时,它会转而引导机器人采取预测峰值伤害最低的动作。这样,控制器就能在安全可行与不可行的情形之间连续应对,无需切换模式或启用备用策略。该方法不同于单纯将动作投影到最近的安全替代动作上:过滤器以未来安全性为核心构建,并能应对安全动作集合为空的状态。

这对机器人技术有何意义?
在人员、设备或易碎物品附近作业的机器人,仅仅在当前时刻保持看似安全的姿态还不够。机器人全身都必须避开危险,控制器还必须考虑机器人在受到推搡或快速移动后是否仍能恢复。FAITH 直面这一挑战,尤其适用于由许多相互连接的部件组成、且无法瞬间停止的腿式机器人和人形机器人。
将任务学习与安全过滤分开,也可能让机器人更容易在加入安全层的同时保留有效行为。原则上,只要安全动作仍然可行,机器人就可以继续执行指定任务,而不必在训练过程中始终让安全惩罚与任务奖励相互竞争。如果扰动导致安全恢复已不可能,最小化预测伤害也比不加调整地继续执行原任务更为审慎。
这些演示与 Robot Overflow 上的人形机器人相关,而让机器人全身避开受保护区域这一更广泛的思路,也适用于在人员和基础设施周围作业的仓储机器人。这些结果是迈向相关应用的早期进展,并不能证明该方法已在人员周围的日常部署中得到验证。
有哪些局限和待解问题?
FAITH 的学习式实现并不提供形式化的安全或最优性保证。论文指出,折扣处理、有限近似和学习误差都可能导致实际控制器偏离理想化结果。评估也仅关注平面受保护区域,并未评估冲击严重程度或人体伤害。
实体人形机器人的结果属于定性演示,并非统计意义上的安全评估。论文没有量化激光雷达噪声、控制延迟或通信延迟对结果的影响。在能够支持其适用于人员周围部署的说法之前,还需要进一步测试这些因素,并评估更贴近实际的三维危险环境。
常见问题
FAITH 能保证机器人绝不违反安全约束吗? 不能。理想化方法的结果带有条件限制,而学习误差和其他近似因素意味着实际控制器没有形式化保证。
如果已经无法避免碰撞,会发生什么? 过滤器会尝试选择预测峰值伤害最低的动作,而不是假定仍有安全动作可用。
任务策略是否必须在任务奖励和安全惩罚之间权衡? 不必。FAITH 使用任务奖励训练任务策略,并通过独立的学习式过滤器保障安全。
FAITH 是否在实体机器人上进行过测试? 是。人形机器人在受到较轻推搡后演示了恢复平衡,在受到较强推搡后则倒向远离受保护区域的一侧。
结论
FAITH 将任务学习与安全过滤分开,并为控制器应对可恢复和无法避免的危险提供了处理方式。其仿真与人形机器人演示颇具前景,但下一步仍需开展量化硬件测试,并加强安全验证。
在什么情况下,部署团队应优先降低伤害,而不是完成机器人的任务?
