结合Bi-LSTM-CNN的语音文本双模态情感识别模型

• 作者: 王兰馨 王卫亚 程鑫
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 语音情感识别 卷积神经网络(CNN) 长短时记忆网络(LSTM) 特征融合
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 192-197
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2105-0042

摘要

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural network,CNN)构成Bi-LSTM-CNN模型,实现文本特征的提取,将其与声学特征融合结果作为联合CNN模型的输入,进行语音情感计算.基于IEMOCAP多模态情感检测数据集的测试结果表明,情感识别准确率达到了69.51％,比单一模态模型提高了至少6个百分点.