面向跨模态检索的协同注意力网络模型

• 作者: 余苏喆 张凤荔 艾擎 邓一姣 陈学勤
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 跨模态检索 协同注意力机制 细粒度特征提取 深度哈希 多模态数据
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 数据库&大数据&数据科学
• 页码范围: 54-59
• 页数: 6页
• 分类号: TP391
• 字数: 5226字
• 语种: 中文
• DOI: 10.11896/jsjkx.190600181

摘要

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注.然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性.现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联.为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量.CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度.在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769.实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张凤荔	电子科技大学信息与软件工程学院	76	816	13.0	26.0
2	陈学勤	电子科技大学信息与软件工程学院	6	9	2.0	2.0
3	余苏喆	电子科技大学信息与软件工程学院	3	10	2.0	3.0
4	邓一姣	电子科技大学信息与软件工程学院	1	0	0.0	0.0
5	艾擎	电子科技大学信息与软件工程学院	1	0	0.0	0.0