基于测地高斯基函数的递归最小二乘策略迭代

• 作者: 张依阳 张政 王雪松 程玉虎
• 来源期刊: 信息与控制
• 关键词: 策略迭代 递归最小二乘 图论 测地距离 高斯函数 基函数
• 年，卷（期）: 2009,（4）
• 所属期刊栏目: 论文与报告
• 页码范围: 406-411
• 页数: 6页
• 分类号: TP18
• 语种: 中文
• DOI: 10.3969/j.issn.1002-0411.2009.04.004

摘要

在策略迭代结强化学习方法的值函数逼近过程中,基函数的合理选择直接影响方法的性能.为更好地描述环境的拓扑关系,采用测地线距离米替换普通高斯函数中的欧氏距离,提出一种基于测地高斯基函数的策略迭代强化学习方法.首先,基于马尔可夫决策过程抽样得到的样本数据建立环境的图论描述.其次,在图上定义测地高斯某函数,并用基于最短路径快速算法得到的最短路径来逼近测地线距离.然后,假定强化学习系统的状态-动作值函数是给定测地高斯基函数的加权组合,采用递归最小二乘方法对权值进行在线增量式更新.最后,基于估计的值函数进行策略改进.10×10和20×20迷宫问题的仿真结果验证了所提策略迭代方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程玉虎	中国矿业大学信息与电气工程学院	58	576	13.0	20.0
2	王雪松	中国矿业大学信息与电气工程学院	71	677	13.0	22.0
6	张政	中国矿业大学信息与电气工程学院	18	173	7.0	13.0
7	张依阳	中国矿业大学信息与电气工程学院	2	35	2.0	2.0