基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究

• 作者: 郝永平 曹昭睿 白帆 孙颢洋 王兴 秦洁
• 来源期刊: 光子学报
• 学科: 工学
• 关键词: 卷积神经网络 注意力机制 图像融合 目标识别 多光谱成像
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 图像处理
• 页码范围: 76-90
• 页数: 15页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.3788/gzxb20215002.0210002

摘要

建立权重独立的双通道残差卷积神经网络,对可见光与红外频段下的目标图像进行特征提取,生成多尺度复合频段特征图组.基于像点间的欧式距离计算双频段特征图显著性,根据目标在不同成像频段下的特征贡献值进行自适应融合.通过热源能量池化核与视觉注意力机制,分别生成目标在双频段下的兴趣区域逻辑掩码并叠加在融合图像上,凸显目标特征并抑制非目标区域信息.以端到端识别网络作为基础,利用交叉损失计算策略,对含有注意力掩码的多尺度双频段融合特征图进行目标识别.结果表明,所设计的识别网络能够有效地融合目标红外热源物理特征和可见光图像纹理特征,提高了信息融合深度,保留目标热辐射与纹理特征的同时降低了背景信息干扰,对全天候复杂环境下的多尺度热源目标具有良好的识别精度与鲁棒性.