基于自适应势函数塑造奖赏机制的梯度下降 Sarsa(λ)算法

• 作者: 傅启明 刘全 孙洪坤 肖飞 高龙
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 Sarsa(λ) 梯度下降 势函数 塑造奖赏
• 年，卷（期）: 2013,（1）
• 页码范围: 77-88
• 分类号: TP181
• 字数: 10593字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436x.2013.01.009

摘要

针对连续状态空间下的强化学习算法初始性能差及收敛速度慢的问题,提出利用自适应势函数塑造奖赏机制来改进强化学习算法.该机制通过额外的奖赏信号自适应地将模型知识传递给学习器,可以有效提高算法的初始性能及收敛速度.鉴于径向基函数(RBF)网络的优良性能及存在的问题,提出利用自适应归一化 RBF(ANRBF)网络作为势函数来塑造奖赏.基于 ANRBF 网络提出了梯度下降(GD)版的强化学习算法——ANRBF-GD-Sarsa(λ).从理论上分析了 ANRBF-GD-Sarsa(λ)算法的收敛性,并通过实验验证了 ANRBF-GD-Sarsa(λ)算法具有较好的初始性能及收敛速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
2	肖飞	苏州大学计算机科学与技术学院	11	80	5.0	8.0
3	傅启明	苏州大学计算机科学与技术学院	23	360	10.0	18.0
4	孙洪坤	苏州大学计算机科学与技术学院	6	42	4.0	6.0
5	高龙	苏州大学计算机科学与技术学院	4	28	3.0	4.0