基于两层模糊划分的时间差分算法

• 作者: 傅启明 刘全 周鑫 孙洪坤 穆翔
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 在策略 梯度下降 两层模糊划分 连续行为策略
• 年，卷（期）: 2013,（10）
• 所属期刊栏目: 学 术 论 文
• 页码范围: 92-99
• 页数: 8页
• 分类号: TP181
• 字数: 6945字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436x.2013.10.011

摘要

针对传统的基于查询表或函数逼近的Q值迭代算法在处理连续空间问题时收敛速度慢、且不易求解连续行为策略的问题，提出了一种基于两层模糊划分的在策略时间差分算法--DFP-OPTD，并从理论上分析其收敛性。算法中第一层模糊划分作用于状态空间，第二层模糊划分作用于动作空间，并结合两层模糊划分计算出Q值函数。根据所得的Q值函数，使用梯度下降方法更新模糊规则中的后件参数。将DFP-OPTD应用于经典强化学习问题中，实验结果表明，该算法有较好的收敛性能，且可以求解连续行为策略。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
5	傅启明	苏州大学计算机科学与技术学院	23	360	10.0	18.0
6	周鑫	苏州大学计算机科学与技术学院	2	12	2.0	2.0
7	孙洪坤	苏州大学计算机科学与技术学院	6	42	4.0	6.0
8	穆翔	苏州大学计算机科学与技术学院	1	2	1.0	1.0