增量跨模态检索方法

• 作者: 江朝杰 杨良怀 高楠 范玉雷
• 来源期刊: 小型微型计算机系统
• 关键词: 跨模态检索 蒸馏学习 共现概率矩阵 增量学习
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 计算机软件与数据库研究|Computer Software and Database Research
• 页码范围: 2234-2240
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2021.10.035

摘要

跨模态检索是可由一个模态样本查询能够返回另一模态语义相关结果的检索方法.但是在许多实际检索系统中,新数据是不断增量迭代的,这就要求检索模型具有良好的可扩展性.然而当下的大多数跨模态检索方法未聚焦于可扩展性的研究,无法平衡新知识和旧知识之间的关系.针对跨模态检索中存在的这个问题,本文提出了增量跨模态检索方法(Incremental Cross Modal Retrieval,ICMR).该方法仅使用增量样本数据集进行模型的扩展.所提方法包含两个阶段:阶段1是基于跨模态的知识蒸馏网络构建,目的是防止增量学习模型对旧数据集的灾难性遗忘;阶段2是生成不同模态哈希编码的特征表示,利用构建的新旧标签共现概率矩阵更有效的将新增类别语义信息加入到特征表示当中.实验表明基于跨模态的增量学习模型仍能保持旧数据集检索任务性能,并且在新增类样本集上也具有良好的检索精度.