一种新的机器人学习系统能够在移动障碍物周围调整已示教的运动，同时保持轨迹平滑并降低碰撞风险。Dist-GPRL 将高斯过程技能模型、Soft Actor-Critic 强化学习、距离场引导和学习得到的安全子空间先验结合起来。在仿真和实体机器人操作测试中，与每次都从头重新学习技能相比，它在任务成功率、安全性和运动保持度之间实现了最出色的综合平衡。
目录
研究人员构建了什么？
研究人员构建了 Dist-GPRL，这是一套强化学习流程，用于调整已有的机器人技能，而不是每次都从头生成动作。系统从一条示教轨迹开始，并用高斯过程对其进行表示。高斯过程是一种描述平滑函数及其不确定性的统计模型。轨迹由一组称为 via-points 的控制点进行概括。改变这些 via-points，会让整个动作平滑地更新，而不是形成一连串彼此割裂的航点修改。
随后，Soft Actor-Critic 策略学习如何在环境发生变化时调整 via-points。该方法面向动态操作场景：物体或障碍物可能出现在不同位置，也可能在执行过程中发生移动。
Dist-GPRL 在学习过程周围加入了三重保护机制。局部窗口适应将改动限制在技能中真正相关的部分。基于协方差的动作变换利用高斯过程的不确定性结构，让策略动作彼此关联，从而保持运动平滑。最后，距离场引导会奖励远离障碍物的轨迹，而基于 HAP 的安全子空间先验则会引导探索，使其更接近原始技能所对应的运动模式。
评估使用了配备任务专用末端执行器的 Universal Robots UR5e。在仿真中，装有铲子的机器人需要将移动立方体推向目标，同时避开动态障碍物。立方体在水平面内的位置变化最大为 20 厘米，障碍物的初始位置变化最大为 10 厘米。
主要结果是什么？
在所评估的方法中，Dist-GPRL 在任务成功率、碰撞规避能力和示教动作保持度之间实现了最优的综合表现。关键并不只是任务完成率更高：将基于距离的引导与安全子空间先验结合起来，比单独使用其中任一组件都能实现更可靠的适应。
研究人员将该系统与五种替代方法进行了比较：原始的结构化 GPRL 方法、ProMP-RRL、采用距离塑形和 HAP 先验的全局适应版本，以及分别移除 HAP 先验或基于距离奖励的两种消融版本。ProMP-RRL 的比较使用了 20 条示教轨迹，而所提出的流程在每项任务中只需一条专家示教轨迹。
消融实验说明了为何需要组合多种控制机制。窗口化适应和相关动作改善了探索的结构；距离奖励则让接近障碍物这一因素直接参与学习。HAP 先验进一步将策略偏向更安全的改动。移除距离引导或安全先验中的任一项后，性能都低于完整系统。
实体机器人测试也呈现出相同趋势。全局适应虽然保持了较低的碰撞率，却在一半试验中未能抓起杆件。完整的 Dist-GPRL 配置在保持低碰撞频率的同时取得了最高成功率，在实体机器人上优于各个不完整配置。
系统如何工作？
Dist-GPRL 将一条示教轨迹转化为紧凑而结构化的控制问题。
首先，高斯过程拟合示教动作。它的 via-points 充当可调变量，但 GP 核函数会将这些变量沿时间轴关联起来。因此，策略更新某一个点时，轨迹会平滑变化，而不会突然出现尖锐折角。该模型还能够解析地给出速度和加速度曲线，使系统可以监测适应后的动作是否仍符合运动学要求。
其次，强化学习策略作用于 via-points，而不是直接控制机器人的每一个底层动作。Soft Actor-Critic 为连续动作提供探索能力，但 Dist-GPRL 会在探索真正改变轨迹之前对其进行调整。策略只适应 via-points 的局部窗口，将学习集中在环境发生变化的区域，同时减少其他区域不必要的改动。
第三，GP 协方差会对策略的原始动作进行变换。协方差反映了轨迹变量之间的关系，因此该变换鼓励协调一致的更新，而不是让各个航点独立、可能失控地移动。这种机制能够规范探索，并帮助保持示教轨迹的整体形状。
actor 目标函数还包含两个额外项。余弦相似度损失比较适应后动作与示教动作的运动学特征，鼓励二者保持相近的运动方向和流畅性。基于 HAP 的先验则将动作偏向由技能结构学习得到的安全子空间。
欧氏距离场负责提供障碍物感知能力。对于每个被查询的轨迹采样点，该距离场都会估计其与周围障碍物表面的距离。学习目标利用这一信息奖励更安全的路径，为策略提供连续反馈，而不是等到发生接触后才施加碰撞惩罚。
因此，完整流程将任务奖励、障碍物距离、运动学相似性、安全子空间偏置、局部适应和相关轨迹更新结合在一起。
这对机器人技术为何重要？
机器人部署往往依赖示教，因为手工编写每个成功动作的程序成本很高。示教还包含许多难以用规则表达的细节，例如接近方向、时序、安全间隙以及末端执行器的协调运动。问题在于，当物体发生移动、有人进入工作空间，或障碍物的位置略有变化时，固定的示教动作就可能不再适用。
Dist-GPRL 通过将示教视为可复用技能，而不是一段固定记录，弥合了这一差距。机器人能够根据变化中的场景修改技能，同时保留原有的运动结构。对于操作、物料搬运、表面作业以及其他碰撞可能损坏设备、产品甚至机器人本身的任务而言，这种能力很有价值。
该方法尤其适用于在可变工件或人类工作人员附近运行的工业机械臂和协作机器人。评估二手工业机器人的操作人员可以利用这类适应能力，在无需为每种布局重新编写程序的情况下，扩大机器人的有效任务范围。类似思路也能帮助出售中的二手协作机器人适应低产量环境；在这类场景中，频繁手动重新编程往往会削弱投资的商业价值。
这还不是一套完整的安全系统，但它指向了一种实用架构：示教提供运动质量，强化学习提供适应能力，几何距离信号则直接激励机器人保持安全间隙。
有哪些局限和待解问题？
评估涵盖两个动态操作任务，其中一项还在 UR5e 硬件平台上进行了测试。这些结果提供了有价值的证据，但尚不足以证明该方法适用于不同的机器人结构、末端执行器、材料、传感系统，或高度不可预测的人类运动。
该方法还依赖合适的示教、障碍物距离信息以及安全子空间先验。质量不佳的示教可能会保留不理想的行为，而不准确的距离场则可能误导策略。论文报告的是较低的碰撞频率，并未给出形式化的碰撞规避保证。
现有摘录提供了定性比较，但没有完整列出成功率和碰撞率的数值表格。后续测试应覆盖更多环境、多条示教轨迹、传感器噪声、未见过的障碍物形状，以及接近碰撞后的恢复能力。
常见问题
什么是 Dist-GPRL？
Dist-GPRL 是一种强化学习框架，用于围绕变化中的障碍物调整以高斯过程表示的机器人示教技能。
Dist-GPRL 如何降低碰撞风险？
它将欧氏距离场奖励与基于 HAP 的安全子空间先验结合起来，鼓励策略远离障碍物进行探索，并在更安全的运动模式中行动。
该方法能在实体机器人上运行吗？
可以。研究人员在 Universal Robots UR5e 上复现了一项动态操作任务，结果显示，完整方法在保持低碰撞频率的同时取得了最高成功率。
Dist-GPRL 能提供形式化安全保证吗？
不能。该方法改善了面向安全的学习行为，但论文报告的评估并未证明其能够形式化保证不发生碰撞。
结论是什么？
Dist-GPRL 表明，机器人技能可以适应移动障碍物，同时保留示教所捕捉到的平滑、结构化运动。它的最佳表现来自多种机制的协同：局部高斯过程更新、具备协方差感知能力的探索、距离场引导以及安全子空间正则化，而不是依赖某一项单独技术。
机器人技能适应应如何在灵活性、平滑性与安全性之间取得平衡？