基于情绪基调的音视频双模态情绪识别算法

• 作者: 付晓慧 卫飞高 张树东
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 情绪基调 音视频 双模态 决策层融合 情绪识别
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 人工智能与识别
• 页码范围: 238-242
• 页数: 5页
• 分类号: TP391.4
• 字数: 3976字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.08.043

摘要

在音视频决策层融合过程中,当单模态间的情绪识别结果不一致时,融合后的识别结果不准确.针对这类问题,提出一种基于情绪基调的音视频双模态情绪识别算法.采用连续混合高斯分布的隐马尔科夫模型(GMM-HMM)和随机森林(RF)分别对音频和视频进行情绪识别;基于情绪基调对音频和视频的情绪识别结果进行修正;在不同情绪基调下运用线性相关性分析方法进行决策层融合.实验结果表明:将该算法应用到SEMA-INE数据库上,情绪识别的均方根误差(RMSE)得到降低,皮尔逊相关系数(PCC)得到了提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张树东	首都师范大学信息工程学院	24	80	5.0	8.0
5	卫飞高	首都师范大学信息工程学院	2	0	0.0	0.0
9	付晓慧	首都师范大学信息工程学院	1	0	0.0	0.0