基于长短时记忆网络的多模态情感识别和空间标注

• 作者: 刘菁菁 吴晓峰
• 来源期刊: 复旦学报（自然科学版）
• 学科: 工学
• 关键词: 多模态情感识别 深度学习 长短时记忆网络 特征融合
• 年，卷（期）: 2020,（5）
• 页码范围: 565-574
• 页数: 10页
• 分类号: TP391.4
• 语种: 中文

摘要

情感计算中音/视频的情感识别对人机交互等领域的深层次认知具有重要应用价值,在现代远程教育中可作为教学过程性实时评估的重要技术之一.为克服单一模态模型识别精度依赖于情感类型这一问题,本文提出一种基于长短时记忆(LSTM)网络的多模态情感识别模型,采用双路LSTM分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息,在eNTERFACE'05双模态情感数据集上进行训练和测试,并模拟人脑边缘系统情感区进行决策层加权特征融合,传统情绪六分类标准的准确率可达74.7％％.同时,考虑到传统离散情绪六分类法无法进行程度度量,且存在外在表现相似和多情感同时并存的问题,本文提出一种新的多模态情感识别模型的空间标注法,采用模型层特征融合方法将情感分类特征映射到激活度-效价空间(Arousal-ValenceSpace),从而更好刻画情感的程度,实验结果显示准确率在空间两个维度上分别达到84.1％和86.6％.相比于已有的大多数相关研究,本文提出的模型运算量小,识别精度高,可进行实时在线情感识别.