基于状态-动作图测地高斯基的策略迭代强化学习

• 作者: 冯涣婷 王雪松 程玉虎
• 来源期刊: 自动化学报
• 关键词: 状态-动作图 测地高斯核 基函数 策略迭代 强化学习
• 年，卷（期）: 2011,（1）
• 所属期刊栏目: 论文与报告
• 页码范围: 44-51
• 页数: 8页
• 语种: 中文
• DOI: 10.3724/SP.J.1004.2011.00044

摘要

在策略迭代强化学习中,基函数构造是影响动作值函数逼近精度的一个重要因素.为了给动作值函数逼近提供合适的基函数,提出一种基于状态-动作图测地高斯基的策略迭代强化学习方法.首先,根据离策略方法建立马尔可夫决策过程的状态-动作图论描述;然后,在状态-动作图上定义测地高斯核函数,利用基于近似线性相关的核稀疏方法自动选择测地高斯核的中心;最后,在策略评估阶段利用基于状态-动作图的测地高斯核逼近动作值函数,并基于估计的值函数进行策略改进.10×10格子世界的仿真结果表明,与基于状态图普通高斯基和测地高斯基的策略迭代强化学习方法相比,本文所提方法能以较少的基函数、高精度地逼近具有光滑且不连续特性的动作值函数,从而有效地获得最优策略.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程玉虎		58	576	13.0	20.0
2	王雪松		71	677	13.0	22.0
3	冯涣婷		3	0	0.0	0.0