基于生成对抗网络的模仿学习综述

• 作者: 姜冲 林嘉豪 章宗长 郝建业
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 模仿学习 基于生成对抗网络的模仿学习 生成对抗模仿学习 模态崩塌 样本利用效率
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 人工智能与软件
• 页码范围: 326-351
• 页数: 26页
• 分类号: TP18
• 字数: 28008字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2020.00326

摘要

模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家水准的决策模型.同样学习如何决策的强化学习往往只根据环境的评价式反馈进行学习,与之相比,模仿学习能从决策数据中获得更为直接的反馈.它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法.基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代.逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数来学习策略.基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL).生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器.GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程.与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率.因此,它能够处理复杂的大规模问题,并可拓展到实际应用中.然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题.最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展.本文先介绍了GAIL的主要思想及其优缺点,然后对GAIL的改进算法进行了归类、分析和对比,最后总结全文并探讨了可能的未来趋势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郝建业	天津大学智能与计算学部	3	23	1.0	3.0
3	林嘉豪	苏州大学计算机科学与技术学院	1	0	0.0	0.0
4	章宗长	南京大学计算机软件新技术国家重点实验室	1	0	0.0	0.0
5	姜冲	苏州大学计算机科学与技术学院	1	0	0.0	0.0