固定长度经验回放对Q学习效率的影响

• 作者: 孙增圻 朱纪洪 林明
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 经验回放 再励学习 Q学习
• 年，卷（期）: 2006,（6）
• 所属期刊栏目: 博士论文
• 页码范围: 7-10
• 页数: 4页
• 分类号: TP181
• 字数: 4006字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2006.06.003

摘要

提出了一种固定长度经验回放的思想,并将该思想与一步Q和Peng Q(λ)学习算法相结合,得到了相应的改进算法.该文采用不同的回放长度L将改进的算法应用在网格环境和汽车爬坡问题中进行了仿真.结果表明,改进的一步Q学习算法在两个例子中都比原算法具有更好的学习效率.改进的Peng Q(λ)学习在马尔可夫环境中对选择探索动作非常敏感,增大L几乎不能提高学习的效率,甚至会使学习效率变差;但是在具有非马尔可夫属性的环境中对选择探索动作比较不敏感,增大L能够显著提高算法的学习速度.实验结果对如何选择适当的L有着指导作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙增圻	清华大学计算机系智能技术与系统国家重点实验室	94	2764	28.0	51.0
2	朱纪洪	清华大学计算机系智能技术与系统国家重点实验室	109	1166	18.0	30.0
3	林明	清华大学计算机系智能技术与系统国家重点实验室	5	7	2.0	2.0