融合语音信号和脑电信号的多模态情感识别

• 作者: 孙颖 张雪英 马江河
• 来源期刊: 西安电子科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 语音信号 脑电信号 特征融合 决策融合
• 年，卷（期）: 2019,（1）
• 页码范围: 143-150
• 页数: 8页
• 分类号: TP391.4
• 字数: 6012字
• 语种: 中文
• DOI: 10.19665/j.issn1001-2400.2019.01.023

摘要

为构造有效的情感识别系统,通过声音刺激分别诱发出高兴、悲伤、生气以及中性4种情感,并采集相应的语音信号和脑电信号.首先,利用相空间重构技术提取脑电信号和语音信号的非线性几何特征和非线性属性特征,并结合两者的基本特征分别实现情感识别;然后,通过构建基于限制玻尔兹曼机的特征融合算法,从特征层融合的角度实现多模态情感识别;最后,利用二次决策算法从决策融合的角度构建多模态情感识别系统.实验结果显示,从特征融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高1.08％和2.75％;从决策融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高6.52％和8.19％;决策融合相比特征融合构建的多模态情感识别系统整体识别效果更优.因此,融合语音信号和脑电信号等不同来源的情感数据可以构造出更有效的情感识别系统.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张雪英	太原理工大学信息与计算机学院	233	1213	15.0	23.0
2	孙颖	太原理工大学信息与计算机学院	34	179	8.0	10.0
3	马江河	太原理工大学信息与计算机学院	3	10	2.0	3.0