基于层次注意力机制的维度情感识别方法

• 作者: 毛启容 汤宇豪 高利剑
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 多模态 连续维度情感识别 注意力机制 特征融合 深度学习
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 65-72
• 页数: 8页
• 分类号: TP18
• 字数: 6212字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0054127

摘要

在连续维度情感识别任务中,每个模态内部凸显情感表达的部分并不相同,不同模态对于情感状态的影响程度也有差别.为此,通过学习各个模态特征并采用合理的融合方式,提出一种基于层次注意力机制的多模态维度情感识别模型.在音频模态中加入频率注意力机制学习频域上下文信息,利用多模态注意力机制将视频特征与音频特征进行融合,依据改进的损失函数对模态缺失问题进行优化,提高模型的鲁棒性以及情感识别的性能.在公开数据集上的实验结果表明,相比于卷积神经网络和长短时记忆网络等方法,该模型一致性相关系数指标明显提升,并且识别效率更高,可适用于大批量数据的维度情感识别.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	毛启容	江苏大学计算机科学与通信工程学院	35	260	9.0	14.0
2	汤宇豪	江苏大学计算机科学与通信工程学院	2	0	0.0	0.0
3	高利剑	江苏大学计算机科学与通信工程学院	2	0	0.0	0.0