强化学习稀疏奖励算法研究——理论与实验

• 作者: 严江鹏 李秀 杨瑞
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 强化学习 深度强化学习 机器学习 稀疏奖励 神经网络 人工智能 深度学习
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 机器学习
• 页码范围: 888-899
• 页数: 12页
• 分类号: TP181
• 语种: 中文
• DOI: 10.11992/tis.202003031

摘要

近年来,强化学习在游戏、机器人控制等序列决策领域都获得了巨大的成功,但是大量实际问题中奖励信号十分稀疏,导致智能体难以从与环境的交互中学习到最优的策略,这一问题被称为稀疏奖励问题.稀疏奖励问题的研究能够促进强化学习实际应用与落地,在强化学习理论研究中具有重要意义.本文调研了稀疏奖励问题的研究现状,以外部引导信息为线索,分别介绍了奖励塑造、模仿学习、课程学习、事后经验回放、好奇心驱动、分层强化学习等方法.本文在稀疏奖励环境Fetch Reach上实现了以上6类方法的代表性算法进行实验验证和比较分析.使用外部引导信息的算法平均表现好于无外部引导信息的算法,但是后者对数据的依赖性更低,两类方法均具有重要的研究意义.最后,本文对稀疏奖励算法研究进行了总结与展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李秀		33	483	9.0	21.0
2	杨瑞		10	167	6.0	10.0
3	严江鹏		1	0	0.0	0.0