基于期望值函数的离策略深度Q神经网络算法

• 作者: 刘川莉 吴昊霖 居锦武 蔡乐才 高祥
• 来源期刊: 四川理工学院学报（自然科学版）
• 学科: 工学
• 关键词: 深度Q神经网络 期望值函数 离策略 策略表现
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 机械、电子及计算机科学
• 页码范围: 52-60
• 页数: 9页
• 分类号: TP301.6
• 字数: 6434字
• 语种: 中文
• DOI: 10.11863/j.suse.2019.01.08

摘要

深度Q神经网络算法的值函数迭代算法大多为Q学习算法,这种算法使用贪婪值函数作逼近目标,不利于深度Q神经网络算法获得长期来看更好的策略.通过以期望思想求解的期望值函数取代贪婪值函数作为更新目标,提出了基于期望值函数的离策略深度Q神经网络算法,并结合DQN算法神经网络更新方法,给出期望值函数能够作用于DQN算法的解释.通过使用该算法能够快速获得长期回报较高的动作和稳定的策略.最后分别在CarPole-v1和Acrobot仿真环境中对期望值函数的离策略深度Q神经网络算法和深度Q神经网络算法进行获取策略的稳定性对比实验,结果表明,基于期望值函数的离策略深度Q神经网络算法能够快速获得长期回报较高的动作,并且该算法表现更为稳定.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡乐才		16	19	3.0	4.0
2	高祥		3	6	1.0	2.0
4	刘川莉	四川轻化工大学自动化与信息工程学院	2	0	0.0	0.0
8	居锦武		2	0	0.0	0.0
9	吴昊霖	四川大学计算机学院	2	0	0.0	0.0