一种基于NSCT与GoogLeNet的多传感器图像融合算法

• 作者: 姚晨 李阳雨 王彩云
• 来源期刊: 南京航空航天大学学报（英文版）
• 学科: 工学
• 关键词: 图像融合 非下采样轮廓波变换 GoogLeNet神经网络 红外图像 可见光图像
• 年，卷（期）: 2020,（z1）
• 页码范围: 88-94
• 页数: 7页
• 分类号: TN911.73
• 语种: 英文

摘要

为提高多传感器融合图像的细节保持性与目标信息完整性,提出一种基于非下采样轮廓波变换(Non-Sub-sampling Contourlet transform,NSCT)与GoogLeNet神经网络模型相结合的异传感器图像融合算法.本文采用的异传感器图像为红外与可见光图像,首先将红外与可见光图像分别进行NSCT变换,分解得到一个低频子带系数和一系列多尺度、多方向的高频子带系数;然后将高频子带系数采用区域能量取大策略进行融合,将低频子带系数输入GoogLeNet神经网络模型中提取特征图,从特征图中自适应计算加权融合的权值矩阵参数,加权求和得到融合后的低频子带系数;最后经过NSCT逆变换得到融合图像.实验结果表明,该算法有效地提高了图像视觉效果,且在边缘保持度、互信息等客观指标上有明显提高.