一种基于知识蒸馏的神经网络鲁棒性迁移方法

• 作者: 张维 易平
• 来源期刊: 信息安全学报
• 关键词: 对抗样本 模型鲁棒性 迁移学习 知识蒸馏
• 年，卷（期）: 2021,（4）
• 页码范围: 60-71
• 页数: 12页
• 分类号: TP18
• 语种: 中文
• DOI: 10.19363/J.cnki.cn10-1380/tn.2021.07.04

摘要

近几年来,深度神经网络在多个领域展现了非常强大的应用能力,但是研究者们发现,通过在输入上添加难以察觉的扰动,可以改变神经网络的输出决策,这类样本被称为对抗样本.目前防御对抗样本,最常见的方法是对抗训练,但是对抗训练有着非常高的训练代价.我们提出了一种知识蒸馏的鲁棒性迁移方案(Robust-KD),结合特征图与雅克比矩阵约束,通过从鲁棒的网络中迁移鲁棒性特征,以比较低的训练代价,取得较强的白盒对抗防御能力.提出的算法在Cifar10、Cifar100与ImageNet数据集上进行了大量的实验,实验表明了我们方案的有效性,即使在非常强大的白盒对抗攻击下,我们的模型依然拥有不错的分类准确率.