样本有限关联值递归Q学习算法及其收敛性证明

• 作者: 殷苌茗 谢丽娟 陈焕文
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 激励学习 Q学习 最优费用函数 关联值递归 Markov决策过程
• 年，卷（期）: 2002,（9）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 1064-1070
• 页数: 7页
• 分类号: TP182
• 字数: 6687字
• 语种: 中文

摘要

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题.求解最优决策一般有两种途径:一种是求最大奖赏方法,另一种是求最优费用方法.利用求解最优费用函数的方法给出了一种新的Q学习算法.Q学习算法是求解信息不完全Markov决策问题的一种有效激励学习方法.Watkins提出了Q学习的基本算法,尽管他证明了在满足一定条件下Q值学习的迭代公式的收敛性,但是在他给出的算法中,没有考虑到在迭代过程中初始状态与初始动作的选取对后继学习的影响.因此提出的关联值递归Q学习算法改进了原来的Q学习算法,并且这种算法有比较好的收敛性质.从求解最优费用函数的方法出发,给出了Q学习的关联值递归算法,这种方法的建立可以使得动态规划(DP)算法中的许多结论直接应用到Q学习的研究中来.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈焕文	长沙电力学院数学与计算机系	18	95	6.0	9.0
2	谢丽娟	长沙电力学院数学与计算机系	7	56	4.0	7.0
3	殷苌茗	长沙电力学院数学与计算机系	13	52	5.0	6.0