基于分类特征约束变分伪样本生成器的类增量学习

• 作者: 莫建文 陈瑶嘉
• 来源期刊: 控制与决策
• 关键词: 类增量学习 灾难性遗忘 分类特征约束 变分自编码器 精馏标签 伪样本选择
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 论文与报告|Papers and Reports
• 页码范围: 2475-2482
• 页数: 8页
• 分类号: TP273
• 语种: 中文
• DOI: 10.13195/j.kzyjc.2020.0228

摘要

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精馏标签,进一步保留从旧类获得的知识.最后,为了平衡旧类样本的生成数量,采用基于分类器分数的伪样本选择,在保持每个旧类伪样本数量平衡的前提下选择一些更具代表性的旧类伪样本.在MNIST、FASHION、E-MNIST和SVHN数据集上的实验结果表明,所提出的方法能有效减少灾难性遗忘的影响,提高图像的分类精度.