基于情节经验回放的深度确定性策略梯度方法

• 作者: 张建行 刘全
• 来源期刊: 计算机科学
• 关键词: 深度确定性策略梯度 连续控制任务 经验回放 累积回报 分类经验回放
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 人工智能|Artificial Intelligence
• 页码范围: 37-43
• 页数: 7页
• 分类号: TP181
• 语种: 中文
• DOI: 10.11896/jsjkx.200900208

摘要

强化学习中的连续控制问题一直是近年来的研究热点.深度确定性策略梯度(Deep Deterministic Policy Gradients,DDPG)算法在连续控制任务中表现优异.DDPG算法利用经验回放机制训练网络模型,为了进一步提高经验回放机制在DDPG算法中的效率,将情节累积回报作为样本分类依据,提出一种基于情节经验回放的深度确定性策略梯度(Deep Determinis-tic Policy Gradient with Episode Experience Replay,EER-DDPG)方法.首先,将经验样本以情节为单位进行存储,根据情节累积回报大小使用两个经验缓冲池分类存储.然后,在网络模型训练阶段着重对累积回报较大的样本进行采样,以提升训练质量.在连续控制任务中对该方法进行实验验证,并与采取随机采样的DDPG方法、置信区域策略优化(Trust Region Policy Op-timization,TRPO)方法以及近端策略优化(Proximal Policy Optimization,PPO)方法进行比较.实验结果表明,EER-DDPG方法有更好的性能表现.