基于稀疏编码的多模态信息交叉检索

• 作者: 刘学亮 刘菲
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 多模态 交叉检索 稀疏编码 最大均值差异 图拉普拉斯
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 图像处理和编码
• 页码范围: 1170-1176
• 页数: 7页
• 分类号: TP391
• 字数: 5300字
• 语种: 中文
• DOI: 10.11834/jig.20150904

摘要

目的 多模态信息交叉检索的根本问题是多模态数据的特征表示.稀疏编码是一种有效的数据特征表示方法,但是当查询数据和被检索数据来自不同模态时,数据间存在分布差异,相似的特征可能被编码为差异显著的稀疏表示,此时传统稀疏编码便不再适用.为此,提出了一种基于稀疏编码的多模态信息交叉检索算法.方法 采用最大均值差异(MMD)以及图拉普拉斯,并将二者加入到稀疏编码的目标函数中来充分利用多模态信息进行编码,模型求解采用特征符号搜索和离散线搜索算法逐个更新稀疏编码系数.结果 在Wikipedia的文本图像对数据上进行实验,并与传统稀疏编码进行比较,实验结果表明,本文算法使交叉检索的平均准确率(MAP)提高了18.7％.结论 本文算法增强了稀疏表示的鲁棒性,提高了多模态交叉检索的准确率,更适用于对多模态数据进行特征提取,并进行进一步的操作,如交叉检索、分类等.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘学亮	合肥工业大学计算机与信息学院	10	9	2.0	2.0
2	刘菲	合肥工业大学计算机与信息学院	8	54	2.0	7.0