平均和折扣准则MDP基于TD(0)学习的统一NDP方法

• 作者: 周雷 唐昊 袁继彬
• 来源期刊: 控制理论与应用
• 学科: 工学
• 关键词: Markov决策过程 性能势 TD(0)学习 神经元动态规划
• 年，卷（期）: 2006,（2）
• 所属期刊栏目: 短文
• 页码范围: 292-296
• 页数: 5页
• 分类号: TP202
• 字数: 5588字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-8152.2006.02.025

摘要

为适应实际大规模Markov系统的需要,讨论Markov决策过程(MDP)基于仿真的学习优化问题.根据定义式,建立性能势在平均和折扣性能准则下统一的即时差分公式,并利用一个神经元网络来表示性能势的估计值,导出参数TD(0)学习公式和算法,进行逼近策略评估;然后,根据性能势的逼近值,通过逼近策略迭代来实现两种准则下统一的神经元动态规划(neuro-dynamic programming,NDP)优化方法.研究结果适用于半Markov决策过程,并通过一个数值例子,说明了文中的神经元策略迭代算法对两种准则都适用,验证了平均问题是折扣问题当折扣因子趋近于零时的极限情况.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐昊	合肥工业大学计算机与信息学院	45	207	8.0	10.0
2	周雷	合肥工业大学计算机与信息学院	22	92	6.0	8.0
3	袁继彬	合肥工业大学计算机与信息学院	1	18	1.0	1.0