增量式双自然策略梯度的行动者评论家算法

• 作者: 刘全 章鹏 翟建伟 钟珊 钱炜晟
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 自然梯度 行动者评论家 连续空间
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 学术通信
• 页码范围: 166-177
• 页数: 12页
• 分类号: TP181
• 字数: 11203字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2017089

摘要

针对强化学习中已有连续动作空间算法未能充分考虑最优动作的选取方法和利用动作空间的知识,提出一种对自然梯度进行改进的行动者评论家算法.该算法采用最大化期望回报作为目标函数,对动作区间上界和下界进行加权来求最优动作,然后通过线性函数逼近器来近似动作区间上下界的权值,将最优动作求解转换为对双策略参数向量的求解.为了加快上下界的参数向量学习速率,设计了增量的Fisher信息矩阵和动作上下界权值的资格迹,并定义了双策略梯度的增量式自然行动者评论家算法.为了证明该算法的有效性,将该算法与其他连续动作空间的经典强化学习算法在3个强化学习的经典测试实验中进行比较.实验结果表明,所提算法具有收敛速度快和收敛稳定性好的优点.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
10	章鹏	苏州大学计算机科学与技术学院	7	93	3.0	7.0
11	钟珊	苏州大学计算机科学与技术学院	8	185	2.0	8.0
12	钱炜晟	苏州大学计算机科学与技术学院	2	6	2.0	2.0
13	翟建伟	苏州大学计算机科学与技术学院	2	6	2.0	2.0