一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

• 作者: 罗迪 王从庆 周勇军
• 来源期刊: 红外技术
• 关键词: 图像融合 可见光/红外图像 低照度图像 生成对抗网络 注意力机制
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 图像处理与仿真|IMAGE PROCESSING & SIMULATION
• 页码范围: 566-574
• 页数: 9页
• 分类号: TN753
• 语种: 中文

摘要

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合.在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信息.实验结果表明,该方法在维持可见光图像细节纹理信息的同时,引入红外图像的主要目标信息,生成视觉效果良好、目标辨识度高的融合图像,并在信息熵、结构相似性等多项客观指标上表现良好.