基于值函数迁移的启发式Sarsa算法

• 作者: 傅启明 刘全 吴宏杰 徐杨 杨正霞 陈建平
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 强化学习 值函数迁移 自模拟度量 变分贝叶斯
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 论文Ⅰ:人工智能与网络安全
• 页码范围: 37-47
• 页数: 11页
• 分类号: TP391
• 字数: 8995字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2018133

摘要

针对Sarsa算法存在的收敛速度较慢的问题,提出一种改进的基于值函数迁移的启发式Sarsa算法(VFT-HSA).该算法将Sarsa算法与值函数迁移方法相结合,引入自模拟度量方法,在相同的状态空间和动作空间下,对新任务与历史任务之间的不同状态进行相似性度量,对满足条件的历史状态进行值函数迁移,提高算法的收敛速度.此外,该算法结合启发式探索方法,引入贝叶斯推理,结合变分推理衡量信息增益,并运用获取的信息增益构建内在奖赏函数作为探索因子,进而加快算法的收敛速度.将所提算法用于经典的Grid World问题,并与Sarsa算法、Q-Learning算法以及收敛性能较好的VFT-Sarsa算法、IGP-Sarsa算法进行比较,实验表明,所提算法具有较快的收敛速度和较好的稳定性.