基于优势学习的深度Q网络

• 作者: 夏宗涛 秦进
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 强化学习 优势学习 深度Q网络 过估计问题
• 年，卷（期）: 2019,（20）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 101-106
• 页数: 6页
• 分类号: TP181
• 字数: 5466字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1806-0394

摘要

强化学习问题中,同一状态下不同动作所对应的状态-动作值存在差距过小的现象,Q-Learning算法采用MAX进行动作选择时会出现过估计问题,且结合了Q-Learning的深度Q网络(Deep Q Net)同样存在过估计问题.为了缓解深度Q网络中存在的过估计问题,提出一种基于优势学习的深度Q网络,通过优势学习的方法构造一个更正项,利用目标值网络对更正项进行建模,同时与深度Q网络的评估函数进行求和作为新的评估函数.当选择的动作是最优动作时,更正项为零,不对评估函数的值进行改动,当选择的动作不是最优动作时,更正项的值为负,降低了非最优动作的评估值.和传统的深度Q网络相比,基于优势学习的深度Q网络在Playing Atari 2600的控制问题breakout、seaquest、phoenix、amidar中取得了更高的平均奖赏值,在krull、seaquest中取得了更加稳定的策略.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦进	贵州大学计算机科学与技术学院	22	288	5.0	16.0
2	夏宗涛	贵州大学计算机科学与技术学院	2	1	1.0	1.0