一种解决连续空间问题的真实在线自然梯度AC算法

• 作者: 伏玉琛 刘全 朱斐 朱海军 陈冬火
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 策略梯度 自然梯度 行动者-评论家 真实在线TD 核方法
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 267-282
• 页数: 16页
• 分类号: TP301
• 字数: 11446字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005251

摘要

策略梯度作为一种能够有效解决连续空间决策问题的方法得到了广泛研究,但由于在策略估计过程中存在较大方差,因此,基于策略梯度的方法往往受到样本利用率低、收敛速度慢等限制.针对该问题,在行动者-评论家(actor-critic,简称AC)算法框架下,提出了真实在线增量式自然梯度AC(true online incremental natural actor-critic,简称TOINAC)算法.TOINAC算法采用优于传统梯度的自然梯度,在真实在线时间差分(true online time difference,简称TOTD)算法的基础上,提出了一种新型的前向观点,改进了自然梯度行动者-评论家算法.在评论家部分,利用TOTD算法高效性的特点来估计值函数;在行动者部分,引入一种新的前向观点来估计自然梯度,再利用资格迹将自然梯度估计变为在线估计,提高了自然梯度估计的准确性和算法的效率.将TOINAC算法与核方法以及正态策略分布相结合,解决了连续空间问题.最后,在平衡杆、Mountain Car以及Acrobot等连续问题上进行了仿真实验,验证了算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈冬火	苏州大学计算机科学与技术学院	14	58	5.0	6.0
2	朱海军	苏州大学计算机科学与技术学院	2	3	1.0	1.0