平均奖赏强化学习算法研究

• 作者: 周如益 曹志新 王皓 高阳
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 平均奖赏强化学习 性能势 G-学习 马尔可夫决策过程 半马尔可夫决策过程
• 年，卷（期）: 2007,（8）
• 所属期刊栏目: 学习算法
• 页码范围: 1372-1378
• 页数: 7页
• 分类号: TP181
• 字数: 6416字
• 语种: 中文
• DOI: 10.3321/j.issn:0254-4164.2007.08.019

摘要

顺序决策问题常用马尔可夫决策过程(MDP)建模.当决策行为执行从时刻点扩展到连续时间上时,经典的马尔可夫决策过程模型也扩展到半马尔可夫决策过程模型(SMDP).当系统参数未知时,强化学习技术被用来学习最优策略.文中基于性能势理论,证明了平均奖赏强化学习的逼近定理.通过逼近相对参考状态的性能势值函数,研究一个新的平均奖赏强化学习算法--G-学习算法.G-学习算法既可以用于MDP,也可以用于SMDP.不同于经典的R-学习算法,G-学习算法采用相对参考状态的性能势值函数替代相对平均奖赏和的相对值函数.在顾客访问控制和生产库存仿真实验中,G-学习算法表现出优于R-学习算法和SMART算法的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高阳	南京大学软件新技术国家重点实验室	77	1645	20.0	39.0
2	王皓	南京大学软件新技术国家重点实验室	21	164	6.0	12.0
3	周如益	南京大学软件新技术国家重点实验室	3	62	2.0	3.0
4	曹志新		1	58	1.0	1.0