一种基于随机投影的贝叶斯时间差分算法

• 作者: 于俊 傅启明 刘全 朱斐 王辉
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 强化学习 马尔科夫决策过程 高斯过程 随机投影 时间差分算法
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 学术论文
• 页码范围: 2752-2757
• 页数: 6页
• 分类号: TP181
• 字数: 6441字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2016.11.026

摘要

在强化学习方法中，大部分的算法都是基于值函数评估的算法。高斯过程时间差分算法利用贝叶斯方法来评估值函数，通过贝尔曼公式和贝叶斯规则，建立立即奖赏与值函数之间的概率生成模型。在状态空间中，通过在线核稀疏化并利用最小二乘方法来求解新样本的近似线性逼近，以提高算法的执行速度，但时间复杂度依然较高。针对在状态空间中近似状态的选择问题，在高斯过程框架下提出一种基于随机投影的贝叶斯时间差分算法，该算法利用哈希函数把字典状态集合中的元素映射成哈希值，根据哈希值进行分组，进而减少状态之间的比较。实验结果表明，该方法不仅能够提高算法的执行速度，而且较好地平衡了评估状态值函数精度和算法执行时间。