一种二阶TD Error快速Q(λ)算法

• 作者: 傅启明 刘全 孙洪坤 李瑾 王辉 高龙
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 强化学习 马尔科夫决策过程 二阶TD Error 资格迹 Q(λ)算法
• 年，卷（期）: 2013,（3）
• 页码范围: 282-292
• 分类号: TP181
• 字数: 12214字
• 语种: 中文

摘要

Q(λ)学习算法是一种结合值迭代与随机逼近的思想的基于模型无关的多步离策略强化学习算法.针对经典的Q(λ)学习算法执行效率低、收敛速度慢的问题,从TD Error的角度出发,给出n阶TD Error的概念,并将n阶TD Error用于经典的Q(λ)学习算法,提出一种二阶TD Error快速Q(λ)学习算法———SOE-FQ(λ)算法.该算法利用二阶TD Error修正Q值函数,并通过资格迹将TD Error传播至整个状态动作空间,加快算法的收敛速度.在此基础之上,分析算法的收敛性及收敛效率,在仅考虑一步更新的情况下,算法所要执行的迭代次数T主要指数依赖于11-酌、1着.将SOE-FQ(λ)算法用于Random Walk和Mountain Car问题,实验结果表明,算法具有较快的收敛速度和较好的收敛精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
2	李瑾	苏州大学计算机科学与技术学院	27	176	6.0	13.0
3	王辉	苏州大学计算机科学与技术学院	86	466	11.0	18.0
4	傅启明	苏州大学计算机科学与技术学院	23	360	10.0	18.0
5	孙洪坤	苏州大学计算机科学与技术学院	6	42	4.0	6.0
6	高龙	苏州大学计算机科学与技术学院	4	28	3.0	4.0