基于随机方差减小方法的DDPG算法

• 作者: 杨薛钰 陈建平 傅启明 陆悠 吴宏杰
• 来源期刊: 计算机工程与应用
• 关键词: 深度强化学习 深度Q学习算法(DQN) 深度确定性策略梯度算法(DDPG) 随机方差缩减梯度技术
• 年，卷（期）: 2021,（19）
• 所属期刊栏目: 理论与研发|Theory, Research and Development
• 页码范围: 104-111
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2009-0097

摘要

针对深度确定性策略梯度算法(DDPG)收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法(SVR-DDPG).该算法通过利用随机方差减小梯度技术(SVRG)提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度.将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性.