基于优先级扫描Dyna结构的贝叶斯Q学习方法

• 作者: 于俊 傅启明 刘全 孙洪坤 陈桂兴
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 马尔科夫决策过程 优先级扫描 Dyna结构 贝叶斯Q学习
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 学 术 论 文
• 页码范围: 129-139
• 页数: 11页
• 分类号: TP181
• 字数: 10370字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436x.2013.11.015

摘要

贝叶斯Q学习方法使用概率分布来描述Q值的不确定性，并结合Q值分布来选择动作，以达到探索与利用的平衡。然而贝叶斯Q学习存在着收敛速度慢且收敛精度低的问题。针对上述问题，提出一种基于优先级扫描Dyna结构的贝叶斯Q学习方法-Dyna-PS-BayesQL。该方法主要分为2部分：在学习部分，对环境的状态迁移函数及奖赏函数建模，并使用贝叶斯Q学习更新动作值函数的参数；在规划部分，基于建立的模型，使用优先级扫描方法和动态规划方法对动作值函数进行规划更新，以提高对历史经验信息的利用，从而提升方法收敛速度及收敛精度。将Dyna-PS-BayesQL应用于链问题和迷宫导航问题，实验结果表明，该方法能较好地平衡探索与利用，且具有较优的收敛速度及收敛精度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
5	傅启明	苏州大学计算机科学与技术学院	23	360	10.0	18.0
6	于俊	苏州大学计算机科学与技术学院	3	58	3.0	3.0
7	孙洪坤	苏州大学计算机科学与技术学院	6	42	4.0	6.0
8	陈桂兴	苏州大学计算机科学与技术学院	2	12	2.0	2.0