基于情感信息辅助的多模态情绪识别

• 作者: 刘启元 吴良庆 周国栋 张栋 李寿山 王建成
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 多模态 情绪识别 联合学习 情感分析
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 75-81
• 页数: 7页
• 字数: 5430字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2019.105

摘要

不同于纯文本的情绪分析,本文面向多模态数据(文本和语音)进行情绪识别研究.为了同时考虑多模态数据特征,提出一种新颖的联合学习框架,将多模态情绪分类作为主任务,多模态情感分类作为辅助任务,通过情感信息来辅助提升情绪识别任务的性能.首先,通过私有网络层对主任务中的文本和语音模态信息分别进行编码,以学习单个模态内部的情绪独立特征表示.接着,通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示.在得到主任务的文本和语音辅助情绪表示之后,分别与主任务中的单模态独立特征表示相结合,得到主任务中单模态情绪信息的完整表示.最后,通过自注意力机制捕捉每个任务上的多模态交互特征,得到最终的多模态情绪表示和情感表示.实验结果表明,本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能,同时情感分类任务的性能也得到一定程度的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张栋	苏州大学计算机科学与技术学院	21	128	6.0	10.0
2	周国栋	苏州大学计算机科学与技术学院	138	1425	22.0	32.0
3	李寿山	苏州大学计算机科学与技术学院	68	618	13.0	23.0
4	王建成	苏州大学计算机科学与技术学院	3	0	0.0	0.0
5	刘启元	苏州大学计算机科学与技术学院	5	1	1.0	1.0
6	吴良庆	苏州大学计算机科学与技术学院	5	3	1.0	1.0