采用双经验回放池的噪声流双延迟深度确定性策略梯度算法

• 作者: 李俊 王垚儒
• 来源期刊: 武汉科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 深度确定性策略梯度 TD3算法 深度强化学习 噪声流 多步截断双Q学习 双经验回放池
• 年，卷（期）: 2020,（2）
• 页码范围: 147-154
• 页数: 8页
• 分类号: TP18|TP301.6
• 字数: 6684字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-3644.2020.02.011

摘要

为了进一步提高双延迟深度确定性策略梯度算法(TD3)的网络探索性能和收敛速度,提出一种采用基于多步优先和重抽样优选机制的双经验回放池的噪声流TD3算法.该算法在策略网络中的每一层添加噪声流以增加参数的随机性,并引入多步优先经验回放池,将多个连续样本组成一个基础单元进行存储,训练时通过多步截断双Q处理实现对值函数的有效逼近,同时增加一个经验回放池采用重抽样优选机制来存储学习价值更大的样本,双经验回放池的设置可弥补样本多样性不足的问题.在OpenAI Gym平台的Walker2d-v2场景中进行仿真实验,结果表明,与对比算法相比,本文算法获得的回报值有明显改善,网络收敛速度也大大加快.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李俊	武汉科技大学计算机科学与技术学院	85	279	8.0	13.0
2	王垚儒	武汉科技大学计算机科学与技术学院	1	0	0.0	0.0