重复利用状态值的竞争深度Q网络算法

• 作者: 张俊杰 张聪 赵涵捷
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 状态值重利用 竞争深度Q学习网络 反距离加权法 超参数搜索
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 134-140
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2007-0125

摘要

在使用反距离加权法(Inverse Distance Weighted method,IDW)对土壤重金属含量进行预测时,算法中的超参数一般由先验知识确定,一定程度上存在不确定性.针对这一问题,提出了一种状态值再利用的竞争深度Q学习网络算法以精确估计IDW的超参数.该算法在训练时,将每轮训练样本中的奖励值进行标准化后,与Dueling-DQN中Q网络的状态值结合形成新的总奖励值,然后将总奖励值输入到Q网络中进行学习,从而增强了状态与动作的内在联系,使算法更加稳定.最后使用该算法在IDW上进行超参数学习,并与几种常见强化学习算法进行对比实验.实验表明,提出的RSV-DuDQN算法可以使模型更快收敛,同时提升了模型的稳定性,还可以更准确地得到IDW的参数估计.