面向跨媒体检索的层级循环注意力网络模型

• 作者: 彭宇新 綦金玮 袁玉鑫
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 跨媒体检索 注意力机制 循环神经网络 关联学习 语义辨识
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: NCIG 2018会议专栏
• 页码范围: 1751-1758
• 页数: 8页
• 分类号: TP37
• 字数: 6128字
• 语种: 中文

摘要

目的 跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据,实现图像、文本等不同媒体的语义互通和交叉检索.然而,“异构鸿沟”导致不同媒体数据的特征表示不一致,难以实现语义关联,使得跨媒体检索面临巨大挑战.而描述同一语义的不同媒体数据存在语义一致性,且数据内部蕴含着丰富的细粒度信息,为跨媒体关联学习提供了重要依据.现有方法仅仅考虑了不同媒体数据之间的成对关联,而忽略了数据内细粒度局部之间的上下文信息,无法充分挖掘跨媒体关联.针对上述问题,提出基于层级循环注意力网络的跨媒体检索方法.方法 首先提出媒体内—媒体间两级循环神经网络,其中底层网络分别建模不同媒体内部的细粒度上下文信息,顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关联关系.然后提出基于注意力的跨媒体联合损失函数,通过学习媒体间联合注意力来挖掘更加精确的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程中的语义辨识能力,从而提升跨媒体检索的准确率.结果 在2个广泛使用的跨媒体数据集上,与10种现有方法进行实验对比,并采用平均准确率均值MAP作为评价指标.实验结果表明,本文方法在2个数据集上的MAP分别达到了0.469和0.575,超过了所有对比方法.结论 本文提出的层级循环注意力网络模型通过挖掘图像和文本的细粒度信息,能够充分学习图像和文本之间精确跨媒体关联关系,有效地提高了跨媒体检索的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭宇新	北京大学计算机科学技术研究所	10	208	6.0	10.0
2	綦金玮	北京大学计算机科学技术研究所	3	15	2.0	3.0
3	袁玉鑫	北京大学计算机科学技术研究所	1	1	1.0	1.0