采用类内迁移学习的红外/可见光异源图像匹配

• 作者: 毕瑞星 毛远宏 王竹平 贺占庄 马钟
• 来源期刊: 西安交通大学学报
• 关键词: 异源图像 图像匹配 迁移学习
• 年，卷（期）: 2020,（1）
• 页码范围: 49-55
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.7652/xjtuxb202001007

摘要

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet).该网络由特征提取子网络和匹配度量子网络两部分组成.特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征.将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐.匹配度量子网络使用2 个全连接层和 1 个 softmax层进行串联,评估出异源图像特征的匹配度.构建了红外和可见光图像数据集,进行端到端的训练和测试.结果表明:与当前使用预训练摸型微调的方法相比,PairsNet的准确率提升了 10.54％,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺占庄		53	534	14.0	21.0
2	马钟		8	3	1.0	1.0
3	王竹平		13	79	4.0	8.0
4	毛远宏		2	0	0.0	0.0
5	毕瑞星		1	0	0.0	0.0