跨模态检索研究进展综述

• 作者: 冯霞 胡志毅 刘才华
• 来源期刊: 计算机科学
• 关键词: 跨模态检索 深度学习 特征提取 相关性度量
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 数据库&大数据&数据科学费|Database & Big Data & Data Science
• 页码范围: 13-23
• 页数: 11页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.200800165

摘要

随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生.跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据,其核心任务是数据特征提取和不同模态间数据的相关性度量.文中梳理了跨模态检索领域近期的研究进展,从传统方法、深度学习方法、手工特征的哈希编码方法以及深度学习的哈希编码方法等角度归纳论述了跨模态检索领域的研究成果.在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能.最后,分析了跨模态检索研究存在的问题,并对该领域未来发展趋势以及应用进行了展望.