增强学习算法的性能测试与对比分析

• 作者: 吴军 徐昕 李兆斌 连传强
• 来源期刊: 计算机应用研究
• 关键词: 增强学习 值函数 近似策略迭代 平滑性
• 年，卷（期）: 2010,（10）
• 页码范围: 3662-3665,3669
• 分类号: TP309
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2010.10.014

摘要

研究了几类典型增强学习算法的性能评估问题,包括Q-学习算法、最小二乘策略迭代(LSPI)和基于核的最小二乘策略迭代 (KLSPI)算法等,重点针对Markov决策问题(MDP)的值函数平滑特性对算法性能的影响进行了研究.分别利用值函数非平滑的组合优化问题--旅行商问题(TSP)和值函数平滑的Mountain-Car运动控制问题,对不同增强学习算法的性能进行了测试和比较分析.分析了三种算法针对不同类型问题的各自特点,通过实验对比,验证了近似策略迭代算法,特别是KLSPI算法在解决值函数平滑的序贯决策问题时性能更优.通过分析实验结果表明,MDP值函数的平滑程度是影响近似策略迭代算法性能表现的重要因素.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李兆斌		1	4	1.0	1.0
2	徐昕		2	20	2.0	2.0
3	吴军		1	4	1.0	1.0
4	连传强		1	4	1.0	1.0