随机状态下基于期望经验回放的Q学习算法

• 作者: 张峰 花强 董春茹 钱辉
• 来源期刊: 深圳大学学报（理工版）
• 学科: 工学
• 关键词: 人工智能 机器学习 强化学习 经验回放 Q学习算法 随机环境 收敛 过估计
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 电子与信息科学
• 页码范围: 202-207
• 页数: 6页
• 分类号: TP181
• 字数: 5071字
• 语种: 中文
• DOI: 10.3724/SP.J.1249.2020.02202

摘要

强化学习的经验回放方法在减少状态序列间相关性的同时提高了数据的利用效率,但目前只能用于确定性的状态环境.为在随机状态环境下充分利用经验回放,且能够保持原有的状态分布,提出一种基于树的经验存储结构来存储探索过程中的状态转移概率,并根据该存储方式,提出基于期望经验回放的Q学习算法.该方法在保证算法复杂度较低的情况下,可实现对环境状态转移的无偏估计,减少Q学习算法的过估计问题.在经典的机器人随机行走问题中进行实验,结果证明,相比于基于均匀回放方法和优先回放的经验回放方法,基于期望经验回放Q学习算法的收敛速度约提高了50％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张峰	河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院	2	3	1.0	1.0
2	钱辉	河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院	1	0	0.0	0.0
3	董春茹	河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院	1	0	0.0	0.0
4	花强	河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院	1	0	0.0	0.0