基于生成对抗模型的可见光-红外图像匹配方法

• 作者: 陈彤 郭剑锋 韩心中 谢学立 席建祥
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 航拍图像处理 异源图像匹配 深度学习 生成对抗网络(GAN) 风格转换
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 计算机技术、信息与电子工程|Computer Technology, Information and Electronic Engineering
• 页码范围: 63-74
• 页数: 12页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.01.007

摘要

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题,基于生成对抗网络转换思想及传统的局部特征提取能力,提出基于生成对抗模型的可见光-红外图像匹配方法.依据生成对抗网络(GAN)的风格转换思想,增加了损失函数计算通路并构建新的损失函数,改进模型在异源图像上的转换效果.利用SIFT算法分别提取转换后同源图像的特征信息,确定待匹配点的位置和尺度.依据匹配策略间接完成待配准图像的特征匹配及相似性度量.在实景航拍数据集上进行实验验证.结果表明,利用该方法能够有效地处理多模数据,降低异源图像的匹配难度,为多模态图像匹配问题提供新的思路.