自适应学习率的增量强化学习飞行控制

• 作者: 刘俊辉 单家元 荣吉利 郑雄
• 来源期刊: 宇航学报
• 学科: 工学
• 关键词: 自适应学习率 小波分析 飞行控制 增量强化学习
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 制导、导航、控制与电子|GNC and Electronics
• 页码范围: 111-121
• 页数: 11页
• 分类号: TJ7
• 语种: 中文
• DOI: 10.3873/j.issn.1000-1328.2022.01.013

摘要

针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性.最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定跟踪控制,提高强化学习飞行控制器的成功率.该方法减轻了 IRL飞行控制算法对预先设定学习率超参数的依赖,拓宽了 IRL在飞行器大范围动力学参数变化情况下的应用.