基于模型的层次化强化学习算法

• 作者: 吕子昂 罗四维 郑宇
• 来源期刊: 北京交通大学学报（自然科学版）
• 学科: 工学
• 关键词: 强化学习 马尔科夫决策过程 探索策略 倒立摆
• 年，卷（期）: 2006,（5）
• 所属期刊栏目: 计算机与信息技术
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP18
• 字数: 6255字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-0291.2006.05.001

摘要

针对强化学习算法的状态值泛化和随机探索策略在确定性MDP系统控制中存在着学习效率低的问题,本文提出基于模型的层次化强化学习算法.该算法采用两层结构,底层利用系统模型,采用贪婪策略选择探索动作,完成强化学习任务.而高层通过对状态区域的分析,指导底层的学习,纠正底层错误的动作.高层对底层的学习的指导作用主要包括:在泛化过程中,对泛化区域中正确与错误的状态判断值分别采用不同的学习因子,减小泛化对算法收敛性的影响;建立状态区域的推理规则,用规则指导未知状态区域的学习,加快学习速度;利用系统模型和推理规则,将探索过程集中于系统的可控区域,克服采用随机探索策略需要系统全状态空间内搜索的问题.本文提出的算法能在较短的时间内实现系统的初步控制,其有效性在二级倒立摆的控制中得到验证.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗四维	北京交通大学计算机与信息技术学院	99	1303	17.0	33.0
2	郑宇	北京交通大学计算机与信息技术学院	6	26	2.0	5.0
3	吕子昂	北京交通大学计算机与信息技术学院	5	10	2.0	3.0