实时动态规划的最优行动判据及算法改进

• 作者: 范长杰 陈小平
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 马尔可夫决策过程 实时动态规划 收敛判据 增量求解 启发式搜索
• 年，卷（期）: 2008,（11）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 2869-2878
• 页数: 10页
• 分类号: TP301
• 字数: 9332字
• 语种: 中文

摘要

主要以提高求解马尔可夫决策问题的实时动态规划(real-time dynamic programming,简称RTDP)算法的效率为目的.对几类典型的实时动态规划算法所使用的收敛判据进行了对比分析,并利用值函数上界、下界给出了称为最优行动判据的收敛判据,以及一个更适合实时算法的分支选择策略.最优行动判据可以更早地标定当前状态满足精度要求的最优行动供立即执行,而新的分支选择策略可以加快这一判据的满足.据此设计了一种有界增量实时动态规划(bounded incremental RTDP,简称BI-RTDP)算法.在两种典型仿真实时环境的实验中,BI-RTDP均显示出优于现有相关算法的实时性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈小平	中国科学技术大学计算机科学与技术系	94	783	15.0	22.0
2	范长杰	中国科学技术大学计算机科学与技术系	1	14	1.0	1.0