连续空间中的一种动作加权行动者评论家算法

• 作者: 刘全 章鹏 翟建伟 钟珊 钱炜晟
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 强化学习 连续空间 函数逼近 行动者评论家 梯度下降 人工智能
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 1252-1264
• 页数: 13页
• 分类号: TP18
• 字数: 13360字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2017.01252

摘要

经典的强化学习算法主要应用于离散状态动作空间中.在复杂的学习环境下,离散空间的强化学习方法不能很好地满足实际需求,而常用的连续空间的方法最优策略的震荡幅度较大.针对连续空间下具有区间约束的连续动作空间的最优控制问题,提出了一种动作加权的行动者评论家算法(Action Weight Policy Search Actor-Critic,AW-PS-AC).AW-PS-AC算法以行动者评论家为基本框架,对最优状态值函数和最优策略使用线性函数逼近器进行近似,通过梯度下降方法对一组值函数参数和两组策略参数进行更新.对两组策略参数进行加权获得最优策略,并对获得的最优动作通过区间进行约束,以防止动作越界.为了进一步提高算法的收敛速度,设计了一种改进的时间差分算法,即采用值函数的时间差分误差来更新最优策略,并引入了策略资格迹调整策略参数.为了证明算法的收敛性,在指定的假设条件下对AW-PS-AC算法的收敛性进行了分析.为了验证AW-PS-AC算法的有效性,在平衡杆和水洼世界实验中对AW-PS-AC算法进行仿真.实验结果表明AW-PS-AC算法在两个实验中均能有效求解连续空间中近似最优策略问题,并且与经典的连续动作空间算法相比,该算法具有收敛速度快和稳定性高的优点.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
10	章鹏	苏州大学计算机科学与技术学院	7	93	3.0	7.0
11	钟珊	苏州大学计算机科学与技术学院	8	185	2.0	8.0
12	钱炜晟	苏州大学计算机科学与技术学院	2	6	2.0	2.0
13	翟建伟	苏州大学计算机科学与技术学院	2	6	2.0	2.0