多模深度卷积神经网络应用于视频表情识别

• 作者: 张石清 潘仙张 郭文平
• 来源期刊: 光学精密工程
• 学科: 工学
• 关键词: 深度卷积神经网络 多模深度学习 表情识别 时空特征 深度信念神经网络
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 信息科学
• 页码范围: 963-970
• 页数: 8页
• 分类号: TP391
• 字数: 5408字
• 语种: 中文
• DOI: 10.3788/OPE.20192704.0963

摘要

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能.本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习.其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征.然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务.在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06％和52.18％的正确识别率,明显优于现有文献报导的结果.多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张石清	台州学院智能信息处理研究所	19	128	6.0	11.0
2	郭文平	台州学院智能信息处理研究所	12	16	2.0	3.0
3	潘仙张	台州学院智能信息处理研究所	2	13	2.0	2.0