基于多模态融合的人脸反欺骗算法研究

• 作者: 颜增显 孔超 欧卫华
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 人脸反欺骗 多模态融合 多模态共享分支 多模态通道注意力融合 多模态特征
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 图形与图像
• 页码范围: 63-68,85
• 页数: 7页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2022.04.011

摘要

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗.首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类.在CASIA-SURF数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法(multi-scale fusion)相比,该方法在APCER和ACER指标上分别降低了1.1％和0.4％,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性.