基于多模态判别性嵌入空间的图像情感分析

• 作者: 吕光瑞 林煜明 蔡国永
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 情感分析 潜在关联 线性判别 多模态网络 注意力机制
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 论文
• 页码范围: 61-67
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.13190/j.jbupt.2018-040

摘要

为了解决图像情感分析中存在的情感鸿沟和大的类内方差问题,提出了一种可以同时利用视觉模态和文本模态之间的深度潜在关联、视觉模态的深度线性判别和图像中层语义融合的弱监督方法.利用多模态深度网络结构找到一个视觉模态和文本模态之间最大深度关联且视觉模态具有深度判别性的潜在嵌入空间,并在该潜在空间中将文本的语义映射特征迁移到图像的判别性视觉映射特征中;结合注意力机制,设计涵盖潜在空间中映射特征的注意力网络,用于情感分类.在真实数据集上的实验结果表明,所提出的方法获得了更好的情感分类准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡国永	桂林电子科技大学广西可信软件重点实验室	98	400	12.0	15.0
2	林煜明	桂林电子科技大学广西可信软件重点实验室	27	54	4.0	6.0
3	吕光瑞	桂林电子科技大学广西可信软件重点实验室	2	3	1.0	1.0