基于AMDP-Q的自主车辆行驶策略求解

• 作者: 夏林锋 金卓军 钱徽 陈沈轶
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 自主汽车 部分可观察马尔可夫决策过程(POMDP) Q学习 增广马尔可夫决策过程(AMDP) 连续状态空间
• 年，卷（期）: 2011,（z2）
• 所属期刊栏目: 机器学习、算法与系统仿真
• 页码范围: 370-373
• 分类号: TP242
• 语种: 中文

摘要

结合增广马尔可夫决策过程(AMDP),蒙特卡罗-部分可观察马尔可夫决策过程(MC-POMDP)以及Q学习,提出了AMDP-Q学习(AMDP-Q)算法.算法的主要思想是:首先用一个低维充分统计量表示原信念状态空间,通常使用最大似然状态和信念状态的信息熵作为充分统计量,其组成的空间称为增广状态空间;然后应用参考状态集离散化该空间,并利用Q学习和Shepard插值得到连续状态的转移函数和回报函数;最后使用具有知识探索性质的ε-贪婪策略进行策略选择.实验结果表明:AMDP-Q比MC-POMDP收敛速度更快.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱徽	浙江大学计算机科学与技术学院	25	253	8.0	15.0
2	陈沈轶	浙江大学计算机科学与技术学院	5	60	3.0	5.0
3	金卓军	浙江大学计算机科学与技术学院	5	18	3.0	4.0
4	夏林锋	浙江大学计算机科学与技术学院	1	2	1.0	1.0