一种基于多任务学习的多模态情感识别方法

• 作者: 林子杰 龙云飞 杜嘉晨 徐睿峰
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 多模态信息 情感识别 模态融合 多任务学习
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 7-15
• 页数: 9页
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2020.085

摘要

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情感识别准确率比目前性能最佳的单任务模型分别提升0.8％和2.5％.