基于多模态信息融合的图像情感标注方法

• 作者: 刘肖健 卢纯福 唐智川 杨红春
• 来源期刊: 计算机集成制造系统
• 学科: 工学
• 关键词: 图像情感标注 多模态信息融合 脑电信号 图像内容 国际情绪图片系统
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 数字化/智能化/网络化制造技术
• 页码范围: 134-144
• 页数: 11页
• 分类号: TP391
• 字数: 6859字
• 语种: 中文
• DOI: 10.13196/j.cims.2020.01.014

摘要

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像迸行情感标注显得至关重要.结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法.首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,迸行图像情感识别与标注.为了评估方法的有效性,使用国际情绪图片系统公共数据集迸行了实验验证.结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法.此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	卢纯福	浙江工业大学工业设计研究院	41	128	7.0	9.0
2	唐智川	浙江工业大学工业设计研究院	19	24	3.0	4.0
3	刘肖健	浙江工业大学工业设计研究院	47	244	8.0	14.0
4	杨红春	浙江工业大学工业设计研究院	7	1	1.0	1.0