增强型深度确定策略梯度算法

• 作者: 何超 傅启明 刘全 吴宏杰 胡伏原 陈建平
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 深度强化学习 样本排序 自模拟度量 时间差分误差
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 学术论文
• 页码范围: 106-115
• 页数: 10页
• 分类号: TP391
• 字数: 9836字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2018238

摘要

针对深度确定策略梯度算法收敛速率较慢的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法.该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池.在算法执行过程中,训练样本分别从多样性样本池和高误差样本池按比例选取,以兼顾样本多样性以及样本价值信息,提高样本的利用效率和算法的收敛性能.此外,进一步从理论上证明了利用自模拟度量方法对样本进行相似性度量的合理性,建立值函数与样本相似性之间的关系.将E-DDPG算法以及DDPG算法用于经典的Pendulum问题和MountainCar问题,实验结果表明,E-DDPG具有更好的收敛稳定性,同时具有更快的收敛速率.