深度学习中的对抗样本问题

• 作者: 刘建伟 左信 张思思
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 对抗样本 特性 对抗样本生成 攻击方式 防御技术 深度学习 机器学习
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 大数据
• 页码范围: 1886-1904
• 页数: 19页
• 分类号: TP181
• 字数: 19298字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2019.01886

摘要

对抗样本是深度学习在安全领域中的热点问题,对抗样本的特性、生成、攻击方式以及如何防御对抗样本的攻击是当前研究对抗样本的重点问题.该文从对抗样本的概念、出现对抗样本的原因、对抗样本的攻击方式及原因阐述对抗样本的关键技术问题,对抗样本的概念主要是对对抗样本、对抗目标、对抗攻击所需知识的定义.该文列出了产生对抗样本的可能原因,目前,针对对抗样本出现的原因主要有三种观点:流形中的低概率区域解释,线性解释,此外,还有一种观点认为线性解释存在局限性,即当前的猜想都不能令人信服,进一步研究对抗样本出现的原因是未来重要的研究内容.并详细分析了对抗样本的几种典型生成方式:F-BFGS法、FGS法、迭代法、迭代最小可能类法及其它方法.并指出了其优缺点和适用的场景,比较了几种主要生成方式的不同之处.此外,对抗样本的攻击方式从应用场景上看主要分为两种,一种是白盒攻击,一种是黑盒攻击.对抗样本具有迁移性是对抗样本攻击的原因,该属性意味着攻击者可以不用直接接触基础模型,而选择攻击一个机器学习模型使样本被错误分类.针对对抗样本的攻击方式及原因,列出了目前深度学习中针对对抗样本的几种主要的防御技术:基于正则化方法、对抗性的预处理训练方法,蒸馏方法、拒绝分类方法等其它方法.指出了不同防御措施的适用场景与不足,阐释了上述防御措施均不能完全避免对抗样本的攻击.该文进一步探讨了对抗样本的应用,目前为止,对抗样本的应用主要是用在对抗评估及对抗训练上.最后,对对抗样本的未来研究方向进行了总体展望,彻底解决对抗攻击问题,仍有大量的理论和实践问题需要解决.找出对抗样本的特性,给出其具有实际应用前景的数学描述,探讨普适性的对抗样本生成方法,对抗样本的生成机理及对抗样本的攻击方式是研究对抗样本的重点问题,探索不同对抗性样本攻击的防御算法是主要目标,将这两部分结合解决对抗样本的攻击是今后对抗样本的主要研究方向.