一种平衡探索和利用的优先经验回放方法

• 作者: 张佳能 李辉 吴昊霖 王壮
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 强化学习 经验回放 优先采样 利用 探索 软演员-评论家算法
• 年，卷（期）: 2022,（5）
• 所属期刊栏目: 人工智能|Artificial Intelligence
• 页码范围: 179-185
• 页数: 7页
• 分类号: TP181
• 语种: 中文
• DOI: 10.11896/jsjkx.210300084

摘要

经验回放方法可以重用过去的经验来更新目标策略,提高样本的利用率,已经成为深度强化学习的一个重要组成部分.优先经验回放在经验回放的基础上进行选择性采样,期望更好地利用经验样本.但目前的优先经验回放方式会降低从经验缓冲池采样的样本的多样性,使神经网络收敛于局部最优.针对上述问题,提出了一种平衡探索和利用的优先经验回放方法(Exploration and Exploitation Balanced Experience Replay,E3R).该方法可以综合考虑样本的探索效用和利用效用,根据当前状态和过去状态的相似性程度以及同一状态下行为策略和目标策略采取动作的相似性程度来对样本进行采样.此外,将E3 R分别与策略梯度类算法软演员-评论家算法、值函数类算法深度Q网络算法相结合,并在相应的OpenAI gym环境下进行实验.实验结果表明,相比传统随机采样和时序差分优先采样,E3 R可以获得更快的收敛速度和更高的累计回报.