基于关联约束的对抗跨模态检索方法

• 作者: 郭倩 钱宇华 梁新彦
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 跨模态检索 多指标约束 对抗约束 关联约束
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 研究与应用
• 页码范围: 68-76
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16451/j.cnki.issn1003-6059.202101007

摘要

现有跨模态检索方法主要使用某一指标约束得到一个子空间,检索结果往往有差异.为了提高公共子空间的鲁棒性,文中提出基于关联约束的对抗跨模态检索方法.对抗约束通过混淆判别器使其无法分辨子空间特征来自哪个模态,从而提升不同模态特征的一致性.关联约束用于增强投影子空间关联程度.三元组约束同时考虑不同模态同一语义、相同模态不同语义样本之间的结构信息.在数据集上的实验表明文中方法的检索性能得到有效提升.