基于一般化斜投影的异策略时序差分学习算法

• 作者: 吴毓双 陈兴国 陈筱语 马静雯
• 来源期刊: 南京大学学报（自然科学版）
• 学科: 工学
• 关键词: 强化学习 线性函数估计 斜投影 异策略 时序差分学习
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 人工智能:从知识发现到机器学习
• 页码范围: 1052-1062
• 页数: 11页
• 分类号: TP311
• 字数: 6731字
• 语种: 中文
• DOI: 10.13232/j.cnki.jnju.2017.06.007

摘要

在强化学习的值函数线性估计问题中,时序差分不动点解和贝尔曼残差的方法都是对真实值函数的斜投影,然而这两种解经证明都不是最优解.通过对两种投影进行加权平均,提出了一种一般化的斜投影算子.基于此推导出两种残差时序差分学习算法,并给出了这两种算法在异策略下的收敛性证明.在著名的Baird的异策略反例实验上,与相关算法进行了对比,实验结果验证了所提算法的正确性和有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴国	南京邮电大学计算机学院	5	78	3.0	5.0
5	陈筱语	南京邮电大学贝尔英才学院	3	1	1.0	1.0
6	吴毓双	南京邮电大学贝尔英才学院	2	1	1.0	1.0
7	马静雯	南京邮电大学计算机学院	1	1	1.0	1.0