神经网络模型中灾难性遗忘研究的综述

• 作者: 韩纪东 李玉鑑
• 来源期刊: 北京工业大学学报
• 关键词: 神经网络模型 灾难性遗忘 样例 模型参数 知识蒸馏 增量学习
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 研究述评|Reviews
• 页码范围: 551-564
• 页数: 14页
• 分类号: TP389.1
• 语种: 中文
• DOI: 10.11936/bjutxb2020120014

摘要

近年来,神经网络模型在图像分割、目标识别、自然语言处理等诸多领域都取得了巨大的成功.但是,神经网络模型仍有很多关键性的问题尚未得到解决,其中就包括灾难性遗忘问题.人类在学习新知识后不会对旧知识发生灾难性遗忘,神经网络模型则与之相反.神经网络模型在适应新任务之后,几乎完全忘记之前学习过的任务.为了解决这一问题,很多相应的减缓神经网络模型灾难性遗忘的方法被提出.对这些方法进行了归纳总结,以促进对该问题的进一步研究.主要贡献包括3个方面:对现有的减缓神经网络模型灾难性遗忘的方法进行了详细的介绍,并将不同方法分为4类,即基于样本的方法、基于模型参数的方法、基于知识蒸馏的方法和其他方法.介绍了不同的评估方案,以评估不同方法对减缓神经网络模型灾难性遗忘的效果.对神经网络模型中的灾难性遗忘问题进行了开放性的讨论,并给出了一些研究建议.