基于深度神经网络的多模态情感识别

• 作者: 叶佳音 崔振 李阳 蔡友谊 郑文明
• 来源期刊: 东南大学学报（英文版）
• 学科: 工学
• 关键词: 情感识别 卷积神经网络 递归神经网络
• 年，卷（期）: 2017,（4）
• 页码范围: 444-447
• 页数: 4页
• 分类号: TP751
• 字数: 474字
• 语种: 英文
• DOI: 10.3969/j.issn.1003-7985.2017.04.009

摘要

为了提升音频和视频载体中的情感识别准确率,采用混合卷积神经网络和递归神经网络编码和集成视频与音频信息来源.通过智能的音频技术,从音频信号提取底层特征,然后用一维卷积神经网络抽象出高级特征,最后送入递归神经网络捕捉时间维度上的语调变化.作为对比,使用二维卷积神经网络和一个类似的卷积神经网络捕捉动态面部外观变化.该方法在2016年度中国模式识别会议提供的中国视觉与听觉情感数据库上达到了41.15％的平均精确度,相比会议基准算法的准确率提升了16.62％.证明所采用方法在情感信息识别中有更高的准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑文明	东南大学生物科学与医学工程学院	17	151	7.0	12.0
2	李阳	东南大学生物科学与医学工程学院	11	27	3.0	5.0
3	蔡友谊	东南大学生物科学与医学工程学院	2	2	1.0	1.0
4	叶佳音	东南大学生物科学与医学工程学院	1	2	1.0	1.0
5	崔振	东南大学生物科学与医学工程学院	1	2	1.0	1.0