融合表情和BVP生理信号的双模态视频情感识别

• 作者: 于曼丽 任福继 李艳秋 胡敏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 表情 生理信号 视频颜色放大 模糊积分 双模态
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 688-697
• 页数: 10页
• 分类号: TP391
• 字数: 6385字
• 语种: 中文
• DOI: 10.11834/jig.170401

摘要

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲(BVP)生理信号的双模态视频情感识别方法.方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果.结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80％和63.75％,而融合后的情感识别结果为83.33％,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性.结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性.另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡敏	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	116	1456	20.0	34.0
2	李艳秋	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	6	77	4.0	6.0
3	于曼丽	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	1	2	1.0	1.0