基于重要性采样的优势估计器

• 作者: 刘全 姜玉斌 胡智慧
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 重要性采样 深度强化学习 优势函数
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 学术论文
• 页码范围: 108-116
• 页数: 9页
• 分类号: TP391
• 字数: 8156字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2019122

摘要

在连续动作任务中,深度强化学习通常采用高斯分布作为策略函数.针对高斯分布策略函数由于截断动作导致算法收敛速度变慢的问题,提出了一种重要性采样优势估计器(ISAE).该估计器在通用优势估计器(GAE)的基础上,引入了重要性采样机制,通过计算边界动作的目标策略与行动策略比率修正截断动作带来的值函数偏差,提高了算法的收敛速度.此外,ISAE引入了L参数,通过限制重要性采样率的范围,提高了样本的可靠度,保证了网络参数的稳定.为了验证ISAE的有效性,将ISAE与近端策略优化结合并与其他算法在MuJoCo平台上进行比较.实验结果表明,ISAE具有更快的收敛速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
17	胡智慧	苏州大学计算机科学与技术学院	4	20	2.0	4.0
18	姜玉斌	苏州大学计算机科学与技术学院	2	0	0.0	0.0