一种深度Q网络的改进算法

• 作者: 夏宗涛 秦进
• 来源期刊: 计算机应用研究
• 关键词: 深度Q网络 过估计问题 更正函数 状态-动作值
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3661-3665
• 页数: 5页
• 分类号: TP181
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.07.0417

摘要

深度Q网络存在严重的过估计问题,导致智能体寻找最优策略的能力下降.为了缓解深度Q网络中存在的过估计问题,提出一个更正函数用于对深度Q网络中的评价函数进行改进,当选择的动作为最优动作时更正函数为1,不对当前状态-动作值进行修改,当选择的动作不是最优动作时更正函数小于1,缩小当前状态一动作值,从而使得最优状态-动作值与非最优状态-动作值的差异增大,减少过估计问题的影响.实验证明改进的算法在Playing Atari 2600视频游戏以及OpenAI Gym中取得了更好的性能.说明改进的算法比深度Q网络寻得了更优的策略.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦进	贵州大学计算机科学与技术学院	22	288	5.0	16.0
2	夏宗涛	贵州大学计算机科学与技术学院	2	1	1.0	1.0