基于BOOSTING框架的视觉语音多模态情感识别检测方法

• 作者: 张芬
• 来源期刊: 现代电子技术
• 关键词: 情感识别 表情识别 Boosting方法 情感数据库
• 年，卷（期）: 2017,（23）
• 所属期刊栏目: 信号与图像处理
• 页码范围: 59-63
• 页数: 5页
• 分类号: TN911.73-34|TM417
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2017.23.015

摘要

情感识别技术是智能人机交互的重要基础,它涉及计算机科学、语言学、心理学等多个研究领域,是模式识别和图像处理领域的研究热点.鉴于此,基于Boosting框架提出两种有效的视觉语音多模态融合情感识别方法:第一种方法将耦合HMM(coupled HMM)作为音频流和视频流的模型层融合技术,使用改进的期望最大化算法对其进行训练,着重学习难于识别的(即含有更多信息的)样本,并将AdaBoost框架应用于耦合HMM的训练过程,从而得到AdaBoost-CHMM总体分类器;第二种方法构建了多层Boosted HMM(MBHMM)分类器,将脸部表情、肩部运动和语音三种模态的数据流分别应用于分类器的某一层,当前层的总体分类器在训练时会聚焦于前一层总体分类器难于识别的样本,充分利用各模态特征数据间的互补特性.实验结果验证了两种方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张芬	成都理工大学信息科学与技术学院	9	51	3.0	7.0