结合滑动窗口动态时间规整和CNN的视频人脸表情识别

• 作者: 任福继 张柯柯 王晓华 胡敏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 人脸表情识别 视频序列选取 滑动窗口动态时间规整 特征提取 卷积神经网络
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 1144-1153
• 页数: 10页
• 分类号: TP391
• 字数: 6366字
• 语种: 中文
• DOI: 10.11834/jig.170454

摘要

目的 相比静态表情图片,视频序列中蕴含更多的情感信息,视频序列中的具有明显表情的序列在特征提取与识别中具有关键作用,但是视频中同时存在的中性表情也可能会对模型参数的训练造成干扰,影响最终的判别.为了减少这种干扰带来的误差,本文对动态时间规整算法进行改进,提出一种滑动窗口动态时间规整算法(SWDTW)来自动选取视频中表情表现明显的图片序列;同时,为了解决人脸图像受环境光照因素影响较大和传统特征提取过程中存在过多人为干预的问题,构建一种基于深度卷积神经网络的人脸视频序列处理方法.方法 首先截取表情视频中人脸正面帧,用梯度方向直方图特征计算代价矩阵,并在代价矩阵上增加滑动窗口机制,计算所有滑动窗口的平均距离;然后通过平均距离最小值选取全局最优表情序列;最后采用深度卷积神经网络对规整后的人脸表情图像序列进行无监督学习和面部表情分类,统计视频序列图像分类概率和,进而得出视频序列的表情类别.结果 在CK+与MMI数据库上进行5次交叉实验,分别取得了92.54％和74.67％的平均识别率,与随机选取视频序列相比,分别提高了19.86％和22.24％;此外,与目前一些优秀的视频表情识别方法相比,也表现出了优越性.结论 本文提出的SWDTW不仅有效地实现了表情序列的选取,而且增强了卷积神经网络在视频面部表情分类中的鲁棒性,提高了视频人脸表情分析的自适应性度和识别率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡敏	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	116	1456	20.0	34.0
2	王晓华	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	37	504	11.0	22.0
3	张柯柯	合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室	2	12	2.0	2.0