随机平稳策略下半Markov决策过程的仿真优化算法

• 作者: 代桂平 唐昊 奚宏生
• 来源期刊: 控制理论与应用
• 关键词: 随机平稳策略 等价Markov过程 一致化Markov链 神经元动态规划 仿真优化
• 年，卷（期）: 2006,（4）
• 所属期刊栏目: 论文
• 页码范围: 547-551
• 页数: 5页
• 分类号: TP202
• 语种: 中文
• DOI: 10.3969/j.issn.1000-8152.2006.04.010

摘要

基于性能势理论和等价Markov过程方法,研究了一类半Markov决策过程(SMDP)在参数化随机平稳策略下的仿真优化算法,并简要分析了算法的收敛性.通过SMDP的等价Markov过程,定义了一个一致化Markov链,然后根据该一致化Markov链的单个样本轨道来估计SMDP的平均代价性能指标关于策略参数的梯度,以寻找最优(或次优)策略.文中给出的算法是利用神经元网络来逼近参数化随机平稳策略,以节省计算机内存,避免了"维数灾"问题,适合于解决大状态空间系统的性能优化问题.最后给出了一个仿真实例来说明算法的应用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	奚宏生	中国科学技术大学自动化系	143	1241	17.0	29.0
2	代桂平	北京工业大学电子信息与控制学院	22	195	7.0	13.0
4	唐昊	合肥工业大学计算机系	45	207	8.0	10.0