深度强化学习提升缆索驱动软体机械臂的计算效率

深度强化学习提升缆索驱动软体机械臂的计算效率

Cheng Ouyang, Moeen Ul Islam, Kaixiang Zhang, Zhaojian Li, Xiaobo Tan +1 位

1 分钟阅读•2026年6月25日

由程欧阳、Moeen Ul Islam、张凯翔、李兆建和夏小波提出的“基于深度强化学习的事件触发数据驱动预测控制用于三维缆索驱动软体机械臂”框架,将基于奇异值分解的数据驱动预测控制(SVD-DeePC)与深度强化学习(DRL)智能体相结合,自适应地触发优化更新,在保持高跟踪精度的同时降低计算成本。大量仿真和硬件实验表明,与基于静态阈值的事件触发方法相比,所学策略实现了更一致且自适应的精度-成本权衡。

对未见轨迹的泛化能力

为进一步评估所提出的RL-ET-DeePC框架的鲁棒性和泛化能力,训练后的策略在训练期间未遇到过的未知多步参考轨迹上进行测试。尽管DeePC控制器对笛卡尔尖端位置(x,y,z)进行操作(如第二节所定义),但结果以弯曲角度和弯曲方向呈现。该轨迹在弯曲角度和弯曲方向上均包含多个突变,从而在快速瞬变条件下挑战控制器。

未见多步参考轨迹上弯曲角度和弯曲方向跟踪结果,显示RL-ET-DeePC策略保持准确跟踪

结论与讨论

提出了RL-ET-DeePC框架,用于缆索驱动软体机械臂的高计算效率和高精度控制。通过将基于SVD的DeePC与DRL智能体相结合,自适应地控制优化更新,该方法减轻了周期性DeePC的计算负担,同时保持了跟踪精度。大量仿真和硬件实验表明,与基于静态阈值的事件触发方法相比,所学策略实现了更一致且自适应的精度-成本权衡。其贡献在于将事件触发表述为一种学习的、状态相关的决策,并且该框架与具体的RL算法无关。

所提出的RL-ET-DeePC与基于静态阈值方法的跟踪误差比较,显示更低且更一致的误差

常见问题

RL-ET-DeePC框架相比标准DeePC的主要优势是什么? 该框架通过使用学习策略仅在需要时自适应触发DeePC更新,而不是在每个时间步运行优化器,从而降低了计算成本。

DRL智能体如何决定何时触发优化更新? DRL智能体观察当前系统状态——包括跟踪误差、控制历史和弯曲状态——并决定是执行新的DeePC优化还是重用之前的控制方案。

该框架是否需要软体机械臂的模型? 不需要。DeePC是一种数据驱动方法,直接根据输入输出数据工作,而RL智能体从经验中学习触发策略,无需分析模型。

这种方法能否应用于其他类型的软体机器人? 可以。该框架与具体的RL算法和机器人硬件无关,因此可迁移到其他缆索驱动或肌腱驱动的软体机器人系统。

使学习型事件触发控制器在手术或人机交互软体机器人中足够安全需要什么?