基于UCB算法的交替深度Q网络

• 作者: 吴卿源 谭晓阳
• 来源期刊: 南京师范大学学报（工程技术版）
• 学科: 工学
• 关键词: 强化学习 深度强化学习 深度Q网络 最大置信度上界
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 机器学习|Machine Learning
• 页码范围: 24-29
• 页数: 6页
• 分类号: TP18
• 语种: 中文
• DOI: 10.3969/j.issn.1672-1292.2022.01.004

摘要

在深度强化学习中,智能体需要与环境进行交互学习,这就需要智能体能够很好地去平衡利用与探索.因此如何提升算法的样本有效性,增加算法的探索能力,一直是深度强化学习领域中非常重要的研究方向.结合已有研究成果,提出了一种交替使用多个不同初始化深度Q网络方法,使用网络随机初始化带来的探索性能.基于最大置信度上界算法先构造一种交替选择深度Q网络策略.并将该调度网络策略与多个随机初始化的深度Q网络结合,得到基于最大置信度上界的交替深度Q网络算法.在多个不同的标准强化学习实验环境上的实验结果表明,该算法比其他基准算法有更高的样本效率和算法学习效率.