基于i_ResNet34模型和数据增强的深度伪造视频检测方法

• 作者: 暴雨轩 芦天亮 杜彦辉 石达
• 来源期刊: 计算机科学
• 关键词: 深度伪造 深度学习 残差网络 特征提取 数据增强 人工智能安全
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 人工智能安全|Artificial Intelligence Security
• 页码范围: 77-85
• 页数: 9页
• 分类号: TP309|TP18
• 语种: 中文
• DOI: 10.11896/jsjkx.210300258

摘要

针对深度伪造视频检测存在的面部特征提取不充分的问题,提出了改进的ResNet(i_ResNet34)模型和3种基于信息删除的数据增强方式.首先,优化ResNet网络,使用分组卷积代替普通卷积,在不增加模型参数的前提下提取更丰富的人脸面部特征;接着改进模型虚线残差结构的shortcut分支,通过最大池化层完成下采样操作,减少视频帧中人脸面部特征信息的损失,然后在卷积层后引入通道注意力层,增加提取关键特征通道的权重,提升特征图的通道相关性.最后,利用i_ResNet34模型对原数据集及3种基于信息删除的数据增强方式扩充后的数据集进行训练,其在FaceForensics++的两类数据集Face-Swap和Deepfakes上的检测准确率分别达到了99.33％和98.67％,优于现有的主流算法,从而验证了所提方法的有效性.