融合深度典型相关分析和对抗学习的跨模态检索

• 作者: 刘立波 苟婷婷
• 来源期刊: 计算机科学
• 关键词: 跨模态检索 深度典型相关分析 对抗学习 深度卷积生成对抗网络
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 计算机图形学& 多媒体|Computer Graphics & Multimedia
• 页码范围: 200-207
• 页数: 8页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.11896/jsjkx.200600119

摘要

文中提出一种融合深度典型相关分析和对抗学习的跨模态检索方法(DCCA-ACMR),该方法提高了无标签样本的利用率,能够学习到更有力的特征投影模型,进而提升了跨模态检索准确率.具体而言,在DCGAN框架下:1)在图像与文本两个单模态的表示层间增加深度典型相关分析约束,构建图文特征投影模型,充分挖掘样本对的语义关联性;2)以图文特征投影模型作为生成器,以模态特征分类模型作为判别器共同构成图文跨模态检索模型;3)利用有标签样本和无标签样本,在生成器和判别器的相互对抗中学习到样本的公共子空间表示.在Wikipedia和NUSWIDE-10k两个公开数据集上,采用平均准确率均值(mAP)作为评价指标对所提方法进行验证.图像检索文本和文本检索图像的平均mAP值在两个数据集上分别为0.556和0.563.实验结果表明,DCCA-ACMR优于现有的代表性方法.