基于辅助模态监督训练的情绪识别神经网络

• 作者: 许云峰 邹纪云
• 来源期刊: 河北科技大学学报
• 学科: 工学
• 关键词: 计算机神经网络 情绪识别 有监督训练 深度学习 多模态
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 机械、电子与信息科学
• 页码范围: 424-432
• 页数: 9页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.7535/hbkd.2020yx05006

摘要

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络.首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能.结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6％的加权准确率和81.3％的不加权准确率.研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许云峰		30	197	8.0	13.0
2	邹纪云		1	0	0.0	0.0