深度Q学习的二次主动采样方法

• 作者: 刘鹏 唐降龙 赵巍 赵英男
• 来源期刊: 自动化学报
• 关键词: 优先经验回放 TD-error 深度Q网络 累积回报
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 论文与报告
• 页码范围: 1870-1882
• 页数: 13页
• 字数: 10650字
• 语种: 中文
• DOI: 10.16383/j.aas.2018.c170635

摘要

实现深度Q学习的一种方式是深度Q网络(Deep Q-networks,DQN).经验回放方法利用经验池中的样本训练深度Q网络,构造经验池需要智能体与环境进行大量交互,这样会增加成本和风险.一种减少智能体与环境交互次数的有效方式是高效利用样本.样本所在序列的累积回报对深度Q网络训练有影响.累积回报大的序列中的样本相对于累积回报小的序列中的样本更能加速深度Q网络的收敛速度,并提升策略的质量.本文提出深度Q学习的二次主动采样方法.首先,根据序列累积回报的分布构造优先级对经验池中的序列进行采样.然后,在已采样的序列中根据样本的TD-error(Temporal-difference error)分布构造优先级对样本采样.随后用两次采样得到的样本训练深度Q网络.该方法从序列累积回报和TD-error两个方面选择样本,以达到加速深度Q网络收敛,提升策略质量的目的.在Atari平台上进行了验证.实验结果表明,用经过二次主动采样得到的样本训练深度Q网络取得了良好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵巍	哈尔滨工业大学计算机科学与技术学院模式识别与智能系统研究中心	34	275	9.0	15.0
2	唐降龙	哈尔滨工业大学计算机科学与技术学院模式识别与智能系统研究中心	105	1135	17.0	29.0
3	刘鹏	哈尔滨工业大学计算机科学与技术学院模式识别与智能系统研究中心	115	707	12.0	20.0
4	赵英男	哈尔滨工业大学计算机科学与技术学院模式识别与智能系统研究中心	2	2	1.0	1.0