跨模态社交图像聚类

• 作者: 李宗民 赵其鲁
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 跨模态学习 共轭词典学习 WordNet 图像聚类 社交图像 语义相似度度量
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 98-111
• 页数: 14页
• 分类号: TP391
• 字数: 11994字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2018.00098

摘要

社交图像包含两种模态的信息:视觉信息和社交标签信息.绝大部分跨模态学习领域的研究者,将其精力集中在多模态信息的共享特征空间学习上,从而往往忽略了各模态信息所独有的特征.在该文中将探究如何利用二者的共享信息以及独有信息进行跨模态的图像聚类.该文将共享特征空间的学习看作一个共轭词典学习问题(Coupled Dictionary Learning,CDL),通过一个L1,∞范数的正则项使各模态的词典稀疏化,这种结构化的稀疏性限制会使各模态独有的特征得以保留.除此之外,该文还提出了一个简单的语义相似度度量框架.借助一个包含丰富语义关系的信息库WordNet,该文通过度量标签间的概念距离(conceptual distance)与释义相似度(gloss similarity),为标签添加一定的语义关系,以度量样本间的语义相似度.通过实验证明该文“共享&独有”模式的跨模态学习的方法,相比其它只利用共享特征的方法,在聚类任务上表现更为出色.