多文化场景下的多模态情感识别

• 作者: 王帅 金琴 陈师哲
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 情感识别 多文化场景 语音情感特征 面部表情特征 多模态融合 深度卷积神经网络
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 多媒体大数据处理与分析专题
• 页码范围: 1060-1070
• 页数: 11页
• 分类号: TP391
• 字数: 8865字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005412

摘要

自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.探讨了在多文化场景下的多模态情感识别问题.从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括:分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中,基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王帅	中国人民大学信息学院	47	271	8.0	15.0
2	金琴	中国人民大学信息学院	7	29	3.0	5.0
3	陈师哲	中国人民大学信息学院	5	18	2.0	4.0