基于递推最小二乘法的多步时序差分学习算法

• 作者: 杨宜民 陈学松
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 强化学习 时序差分 最小二乘 收敛 RLS-TD(λ)算法
• 年，卷（期）: 2010,（8）
• 所属期刊栏目: 研究、探讨
• 页码范围: 52-55
• 页数: 4页
• 分类号: TP18
• 字数: 3858字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2010.08.015

摘要

强化学习是一种重要的机器学习方法.为了提高强化学习过程的收敛速度和减少学习过程值函数估计的误差,提出了基于递推最小二乘法的多步时序差分学习算法(RLS-TD(λ)).证明了在满足一定条件下,该算法的权值将以概率1收敛到唯一解,并且得出和证明了值函数估计值的误差应满足的关系式.迷宫实验表明,与RLS-TD(0)算法相比,该算法能加快学习过程的收敛,与传统的TD(λ)算法相比,该算法减少了值函数估计误差,从而提高了精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨宜民	广东工业大学自动化学院	221	2851	26.0	42.0
2	陈学松	广东工业大学应用数学学院	29	186	5.0	13.0