模态自适应的红外与可见光图像融合

• 作者: 曲海成 王宇萍 高健康 赵思琪
• 来源期刊: 红外技术
• 学科: 工学
• 关键词: 图像融合 模态自适应 对抗生成网络 残差网络
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 图像处理与仿真|IMAGE PROCESSING AND SIMULATION
• 页码范围: 268-276
• 页数: 9页
• 分类号: TP391
• 语种: 中文

摘要

为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题,提出一种模态自适应的红外与可见光图像融合方法(mode adaptive fusion,MAFusion).首先,在生成器中将红外图像与可见光图像输入自适应加权模块,通过双流交互学习二者差异,得到两种模态对图像融合任务的不同贡献比重;然后,根据各模态特征的当前特性自主获得各模态特征的相应权重,进行加权融合得到融合特征;最后,为了提高模型的学习效率,补充融合图像的多尺度特征,在图像融合过程中加入残差块与跳跃残差组合模块,提升网络性能.在TNO和KAIST数据集上进行融合质量测评,结果表明:主观评价上,提出的方法视觉效果良好;客观评价上,信息熵、互信息和基于噪声的评价性能指标均优于对比方法.