基于SGD的决策级融合维度情感识别方法

• 作者: 胡新荣 陈志恒 刘军平 彭涛 何儒汉 何凯
• 来源期刊: 郑州大学学报（理学版）
• 学科: 工学
• 关键词: 随机梯度下降 多模态 维度情感识别 特征融合 动作捕捉数据 多任务学习
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 信息科学
• 页码范围: 49-54
• 页数: 6页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.13705/j.issn.1671-6841.2021299

摘要

在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷,且使用决策级融合方法进行融合大多依赖支持向量回归算法,但该算法无法有效处理大样本情况.为了解决以上问题,在语音和文本模态的基础上增加动作捕捉(motion capture,Mocap)数据,并针对该多模态数据提出一种基于随机梯度下降(stochastic gradi-ent descent,SGD)的决策级融合维度情感识别方法.结合多任务学习机制,利用不同的深度学习模型分别对语音、文本和Mocap特征进行训练,并基于决策级融合方法实现多模态维度情感识别.在IEMOCAP数据集上的实验结果表明,Mocap数据更有助于提高效价维的值,结合更多情感数据有助于提升维度情感识别的预测性能,基于SGD进行决策级融合得到的一致性相关系数均值高于其他回归算法.