音视频双模态情感识别融合框架研究

• 作者: 卫飞高 宋冠军 张树东
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 音视频 双模态 特征层融合 情感识别 BLSTM
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 140-146
• 页数: 7页
• 分类号: TP391
• 字数: 6212字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1811-0332

摘要

针对双模态情感识别框架识别率低、可靠性差的问题,对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究.采用基于先验知识的特征提取方法和VGGNet-19网络分别对预处理后的音视频信号进行特征提取,以直接级联的方式并通过PCA进行降维来达到特征融合的目的,使用BLSTM网络进行模型构建以完成情感识别.将该框架应用到AViD-Corpus和SEMAINE数据库上进行测试,并和传统情感识别特征层融合框架以及基于VGGNet-19或BLSTM的框架进行了对比.实验结果表明,情感识别的均方根误差(RMSE)得到降低,皮尔逊相关系数(PCC)得到提高,验证了文中提出方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张树东	首都师范大学信息工程学院	24	80	5.0	8.0
2	宋冠军	首都师范大学信息工程学院	1	0	0.0	0.0
3	卫飞高	首都师范大学信息工程学院	2	0	0.0	0.0