基于相对熵的元逆强化学习方法

• 作者: 吴少波 傅启明 陈建平 吴宏杰 陆悠
• 来源期刊: 计算机科学
• 关键词: 逆强化学习 元学习 奖赏函数 相对熵 梯度下降
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能|Artificial Intelligence
• 页码范围: 257-263
• 页数: 7页
• 分类号: TP311
• 语种: 中文
• DOI: 10.11896/jsjkx.200700044

摘要

针对传统逆强化学习算法在缺少足够专家演示样本以及状态转移概率未知的情况下,求解奖赏函数速度慢、精度低甚至无法求解的问题,提出一种基于相对熵的元逆强化学习方法.利用元学习方法,结合与目标任务同分布的一组元训练集,构建目标任务学习先验,在无模型强化学习问题中,采用相对熵概率模型对奖赏函数进行建模,并结合所构建的先验,实现利用目标任务少量样本快速求解目标任务奖赏函数的目的.将所提算法与REIRL算法应用于经典的Gridworld和Obj ect World问题,实验表明,在目标任务缺少足够数目的专家演示样本和状态转移概率信息的情况下,所提算法仍能较好地求解奖赏函数.