基于残差梯度法的神经网络Q学习算法

• 作者: 司彦娜 普杰信 臧绍飞
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Q学习 神经网络 值函数近似 残差梯度法 经验回放
• 年，卷（期）: 2020,（18）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 137-142
• 页数: 6页
• 分类号: TP18
• 字数: 3941字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1906-0175

摘要

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法.该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性.引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度.为了进一步提高训练过程的稳定性,引入动量优化.此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题.通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	普杰信	河南科技大学信息工程学院	106	703	15.0	20.0
2	司彦娜	河南科技大学信息工程学院	4	9	2.0	3.0
3	臧绍飞	河南科技大学信息工程学院	1	0	0.0	0.0