双重对比学习框架下近红外-可见光人脸图像转换方法

• 作者: 孙锐 单晓全 孙琦景 韩春军 张旭东
• 来源期刊: 光电工程
• 学科: 工学
• 关键词: 跨模态人脸识别 人脸图像转换 对比学习 StyleGAN2
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 科研论文|Article
• 页码范围: 26-38
• 页数: 13页
• 分类号: TP391
• 语种: 中文
• DOI: 10.12086/oee.2022.210317

摘要

随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值.针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法.该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征.同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果.最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息.