耦合保持投影哈希跨模态检索

• 作者: 闵康凌 张国宾 王磊 李丹萍
• 来源期刊: 中国图象图形学报
• 关键词: 跨模态检索 哈希 结构保持 图模型 耦合投影 子空间学习
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 图像处理和编码|Image Processing and Coding
• 页码范围: 1558-1567
• 页数: 10页
• 分类号: TP391
• 语种: 中文

摘要

目的 基于哈希的跨模态检索方法因其检索速度快、消耗存储空间小等优势受到了广泛关注.但是由于这类算法大都将不同模态数据直接映射至共同的汉明空间,因此难以克服不同模态数据的特征表示及特征维度的较大差异性,也很难在汉明空间中同时保持原有数据的结构信息.针对上述问题,本文提出了耦合保持投影哈希跨模态检索算法.方法 为了解决跨模态数据间的异构性,先将不同模态的数据投影至各自子空间来减少模态"鸿沟",并在子空间学习中引入图模型来保持数据间的结构一致性;为了构建不同模态之间的语义关联,再将子空间特征映射至汉明空间以得到一致的哈希码;最后引入类标约束来提升哈希码的判别性.结果 实验在3个数据集上与主流的方法进行了比较,在Wikipedia数据集中,相比于性能第2的算法,在任务图像检索文本(I to T)和任务文本检索图像(T to I)上的平均检索精度(mean average precision,mAP)值分别提升了 6％和3％左右;在MIR-Flickr数据集中,相比于性能第2的算法,优势分别为2％和5％左右;在Pascal Sentence数据集中,优势分别为10％和7％左右.结论 本文方法可适用于两个模态数据之间的相互检索任务,由于引入了耦合投影和图模型模块,有效提升了跨模态检索的精度.