基于3D和1D多特征融合的语音情感识别算法

• 作者: 徐华南 周晓彦 姜万 李大鹏
• 来源期刊: 声学技术
• 关键词: 语音情感识别 双线性卷积网络 长短期记忆网络 注意力(attention) 多特征融合
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 语言与音乐声学
• 页码范围: 496-502
• 页数: 7页
• 分类号: TN912.34
• 语种: 中文

摘要

针对语音情感识别任务中特征提取单一、分类准确率低等问题,提出一种3D和1D多特征融合的情感识别方法,对特征提取算法进行改进.在3D网络,综合考虑空间特征学习和时间依赖性构造,利用双线性卷积神经网络(Bilinear Convolutional Neural Network,BCNN)提取空间特征,长短期记忆网络(Short-Term Memory Network,LSTM)和注意力(attention)机制提取显著的时间依赖特征.为降低说话者差异的影响,计算语音的对数梅尔特征(Log-Mel)和一阶差分、二阶差分特征合成3D Log-Mel特征集.在1D网络,利用一维卷积和LSTM的框架.最后3D和1D多特征融合得到判别性强的情感特征,利用softmax函数进行情感分类.在IEMOCAP和EMO-DB数据库上实验,平均识别率分别为61.22％和85.69％,同时与提取单一特征的3D和1D算法相比,多特征融合算法具有更好的识别性能.