基于Transformer-ESIM注意力机制的多模态情绪识别

• 作者: 徐志京 高姗
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 多模态情绪识别 Transformer编码层 多头注意力机制 交互注意力
• 年，卷（期）: 2022,（10）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 132-138
• 页数: 7页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2010-0463

摘要

为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Transformer编码层的多头注意力机制对序列进行并行化处理,解决了序列距离限制,能充分提取序列内的情感语义信息,获取语音和文本序列的深层情感语义编码,同时提高处理速度;通过ESIM交互注意力机制计算语音和文本之间的相似特征,实现语音和文本模态的对齐,解决了多模态特征直接融合而忽视的模态间交互问题,提高模型对情感语义的理解和泛化能力.该方法在IEMOCAP数据集上进行实验测试,实验结果表明,情绪识别分类准确率可达72.6％,和其他主流的多模态情绪识别方法相比各项指标都得到了明显的提升.