关键点深度特征驱动人脸表情识别

• 作者: 刘青山 帅惠 王善敏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 人脸表情识别 关键点检测 多任务 注意力模型 中间监督
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: ChinaMM 2019会议专栏
• 页码范围: 813-823
• 页数: 11页
• 分类号: TP391.41
• 字数: 7520字
• 语种: 中文

摘要

目的 人脸关键点检测和人脸表情识别两个任务紧密相关.已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系.针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情.方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值.为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值.复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征.结果 在3个公开数据集:CK+(Cohn-Kanade dataset),Oulu(Oulu-CASIA NIR&VIS facial expression database)和MMI(MMI facial expression database)上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14％和0.54％.结论 实验结果表明了引入关键点信息的有效性:多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络.同时,引入注意力模型也提升了多任务网络中表情的识别率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘青山	南京信息工程大学自动化学院江苏省大数据分析技术重点实验室	34	203	8.0	13.0
2	帅惠	南京信息工程大学自动化学院江苏省大数据分析技术重点实验室	2	1	1.0	1.0
3	王善敏	南京信息工程大学自动化学院江苏省大数据分析技术重点实验室	1	0	0.0	0.0