双标签监督的几何约束对抗训练

• 作者: 曹刘娟 匡华峰 刘弘 王言 张宝昌 黄飞跃 吴永坚 纪荣嵘
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 深度学习 模型鲁棒性 对抗训练 几何约束 双标签监督
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 面向开放场景的鲁棒机器学习专刊|SPECIAL ISSUE ON ROBUST MACHINE LEARNING IN THE OPEN-WORLD SCENARIOS
• 页码范围: 1218-1230
• 页数: 13页
• 分类号: TP181
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006477

摘要

近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.