红外与可见光图像交互注意力生成对抗融合方法

• 作者: 王志社 邵文禹 杨风暴 陈彦林
• 来源期刊: 光子学报
• 学科: 工学
• 关键词: 图像融合 交互注意力 生成对抗网络 深度学习 红外图像 可见光图像
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 图像处理|Image Processing
• 页码范围: 310-320
• 页数: 11页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3788/gzxb20225104.0410002

摘要

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法.首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局依赖特性,获得的注意力图更聚焦于红外典型目标和可见光纹理细节,实现红外与可见光图像端到端融合.最后,在对抗网络模型中,采用双鉴别器均衡判定融合图像与源图像间的真假性,相互补偿的损失函数优化生成网络模型获得最佳的融合结果.与现有典型融合方法的对比实验结果表明,该方法能够获得更平衡的融合结果,在主观视觉描述和客观指标评价上都优于其他方法.