一种基于线性函数逼近的离策略Q(λ)算法

• 作者: 于俊 傅启明 刘全 李娇 王辉 肖飞
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 强化学习 函数逼近 离策略 Q(λ)算法 机器学习
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 智能信息处理
• 页码范围: 677-686
• 页数: 10页
• 分类号: TP18
• 字数: 8034字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2013.00677

摘要

将函数逼近用于强化学习是目前机器学习领域的一个新的研究热点.针对传统的基于查词表及函数逼近的Q(λ)学习算法在大规模状态空间中收敛速度慢或者无法收敛的问题,提出一种基于线性函数逼近的离策略Q(λ)算法.该算法通过引入重要性关联因子,在迭代次数逐步增长的过程中,使得在策略与离策略相统一,确保算法的收敛性.同时在保证在策略与离策略的样本数据一致性的前提下,对算法的收敛性给予理论证明.将文中提出的算法用于Baird反例、Mountain-Car及Random Walk仿真平台,实验结果表明,该算法与传统的基于函数逼近的离策略算法相比,具有较好的收敛性;与传统的基于查询表的算法相比,具有更快的收敛速度,且对于状态空间的增长具有较强的鲁棒性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
5	肖飞	苏州大学计算机科学与技术学院	11	80	5.0	8.0
6	王辉	苏州大学计算机科学与技术学院	86	466	11.0	18.0
7	傅启明	苏州大学计算机科学与技术学院	23	360	10.0	18.0
8	于俊	苏州大学计算机科学与技术学院	3	58	3.0	3.0
9	李娇	苏州大学计算机科学与技术学院	5	66	4.0	5.0