监督式多模态图像表征学习

• 作者: 李宗民 窦长红 赵其鲁
• 来源期刊: 计算机辅助设计与图形学学报
• 学科: 工学
• 关键词: 多模态词典学习 监督学习 图像表征
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 图像与视觉
• 页码范围: 1997-2004
• 页数: 8页
• 分类号: TP181
• 字数: 6540字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-9775.2017.11.005

摘要

通过结合多模态特征与类别标签信息,提出一种基于监督式多模态词典学习的图像表征方法.首先使用纹理、颜色、形状和结构4种模态的视觉特征,以学习包含"共享+特有"信息的稀疏特征来描述目标的视觉特性;然后通过拉普拉斯正则化项使学习到的稀疏特征能够反映类别标签中的语义信息,以增强所学习特征的辨识力.通过图像分类进行实验的结果表明,该方法优于单模态特征及其他基准多模态特征学习方法.