结合特征融合和注意力机制的微表情识别方法

• 作者: 李星燃 张立言 姚树婧
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 微表情识别 特征融合 注意力机制 深度学习 迁移学习
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 计算机视觉:理论与应用|Computer Vision : Theory and Application
• 页码范围: 4-11
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11896/jsjkx.210900028

摘要

微表情指当人们试图隐藏或抑制自己的真实情感时,脸上出现的一种无法控制的肌肉运动.此类情绪面部表情由于具有持续时间短、动作幅度小、难以掩饰和抑制的特点,因此其识别精度受到了制约.为了应对这些挑战,文中提出一种结合特征融合和注意力机制的微表情识别方法,同时考虑了光流特征和人脸特征,通过进一步加入注意力机制来提升识别性能.该网络由3个部分组成:1)提取每个微表情片段中Onset到Apex的光流与光学应变,将垂直光流、水平光流、光学应变输入到一个浅层3DCNN中,以提取光流特征;2)以深度卷积神经网络ResNet-10为迁移模型,加入卷积注意力模块以提取人脸特征;3)将两个特征向量拼接起来进行分类.利用所提方法在3个自发微表情数据集中进行实验,结果表明,所提方法在微表情识别方面优于传统方法和现有深度学习方法.