基于语音信号与心电信号的多模态情感识别

• 作者: 王青云 赵力 邹采荣 金赟 黄程韦
• 来源期刊: 东南大学学报（自然科学版）
• 学科: 工学
• 关键词: 情感识别 多模态 判决层融合 特征层融合
• 年，卷（期）: 2010,（5）
• 页码范围: 895-900
• 分类号: TP391.4
• 字数: 4915字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0505.2010.05.003

摘要

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵力	东南大学水声信号处理教育部重点实验室	308	3093	27.0	44.0
2	邹采荣	东南大学水声信号处理教育部重点实验室	153	2088	25.0	40.0
3	黄程韦	东南大学水声信号处理教育部重点实验室	15	287	9.0	15.0
4	金赟	东南大学水声信号处理教育部重点实验室	13	240	8.0	13.0
6	王青云	东南大学水声信号处理教育部重点实验室	19	331	10.0	18.0