基于残差网络和注意力机制的红外与可见光图像融合算法

• 作者: 李国梁 向文豪 张顺利 张博勋
• 来源期刊: 无人系统技术
• 学科: 工学
• 关键词: 红外图像 可见光图像 图像融合 残差网络 注意力机制 引导滤波 编码网络
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 信息感知与融合|Information Perception and Fusion
• 页码范围: 9-21
• 页数: 13页
• 分类号: TP751
• 语种: 中文
• DOI: 10.19942/j.issn.2096-5915.2022.2.012

摘要

针对红外与可见光图像的融合,提出了一种基于残差网络和注意力机制的图像融合算法.首先,为了分别从背景层和细节层提取红外与可见光图像的特征信息,使用引导滤波将红外和可见光图像分解为含有低频背景轮廓信息的背景层和含有高频细节纹理信息的细节层,再使用编码网络分别从背景层和细节层中提取特征信息并进行融合,该特征提取方法可提获得更为全面的图像特征信息.其次,为了有效融合红外与可见光的图像特征,利用添加注意力特征融合模块的解码网络对图像进行恢复重建,获得融合图像,该方法从空间注意力和通道注意力两个方向提升网络保留重要特征信息的能力.然后,为了根据图像自身的信息自适应的训练网络,设计了一种基于梯度信息的自适应权重计算方法,以此来调节红外与可见光图像对融合图像造成影响的大小.通过源图像的梯度信息来度量红外与可见光图像的信息量,从而自适应地计算权重.实验结果表明,提出的图像融合算法表现优异,取得了很好的融合效果,与12个算法相比,所提算法在4个客观评价指标上均超过对比算法.基于残差网络和注意力机制的图像融合算法在军事、航空、资源勘探、安防监控等众多领域具有应用价值.