预测不确定性与对抗鲁棒性的关系研究

• 作者: 陈思宏 沈浩靖 王冉 王熙照
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 对抗样本 不确定性 对抗防御 深度学习 对抗鲁棒性
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 模式识别与人工智能|PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE
• 页码范围: 524-538
• 页数: 15页
• 分类号: TP181
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006163

摘要

对抗鲁棒性指的是模型抵抗对抗样本的能力,对抗训练是提高模型对抗鲁棒性的一种常用方法.然而,对抗训练会降低模型在干净样本上的准确率,这种现象被称为accuracy-robustness problem.由于在训练过程中需要生成对抗样本,这个过程显著增加了网络的训练时间.研究了预测不确定性与对抗鲁棒性的关系,得出以下结论:预测不确定性越大,则模型对抗鲁棒性越大.结论解释为:用交叉熵训练得到的模型边界并不完美,为了使得交叉熵最小化,可能使得一些类的分类面变得狭隘,导致这些类的样本容易受到对抗攻击.如果在训练模型的同时最大化模型输出的信息熵,可以使得模型的分类面更加平衡,模型分类面边界与每一类数据的距离尽可能一样远,从而提高攻击难度.在此基础上,提出一种新的增强对抗鲁棒性的方法,通过增加模型预测的不确定性,以达到提高鲁棒性的目的;它在保证模型准确率的同时,使得模型预测的信息熵达到更大.在MNIST、CIFAR-10和CIFAR-100数据集上的大量实验和简化的模型推导,都证实了对抗鲁棒性随模型预测不确定性的增加而增加的统计关系.该方法也可结合对抗训练,进一步提高了模型的对抗鲁棒性.