端到端增强特征神经网络的视频表情识别

• 作者: 曹雪虹 童莹 陈乐 陈瑞
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 视频表情识别 卷积神经网络 循环神经网络 深度学习
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: “第三届亚洲人工智能技术大会”会议论文选登
• 页码范围: 125-131
• 页数: 7页
• 分类号: TP391.4
• 字数: 3677字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2019.09.018

摘要

以卷积神经网络结合循环神经网络搭建端到端的深度学习网络,提出一种增强特征的视频表情识别方法.其中,卷积神经网络采用传统的VGG-16-FACE模型作为初始模型,完成特征提取;循环神经网络采用具有记忆能力的长期短时记忆模型网络(LSTM)结合连续视频的帧间信息给出最优预测.首先,对VGG-16和LSTM模型分别进行独立训练.因预测结果很大程度取决于LSTM模型,针对LSTM的层数和输出神经元个数进行优化调试后,得到两层LSTM,发现输出维度为2 048时识别效果最好.考虑到增加负责特征提取的VGG模型对预测结果的影响比重,模型由独立训练2个模型连接为端到端的1个模型.实验中考虑到1层LSTM输出会造成特征丢失,在端到端模型的基础上加入跳层连接,增强特征输入,最终实验结果表明:在AFEW数据集上对视频表情识别的准确率从32.88％提升到37.34％,F1分数从0.289 5提升到0.339 9,证实了端到端增强特征混合神经网络的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈瑞	南京工程学院信息与通信工程学院	62	173	7.0	8.0
2	童莹	南京工程学院信息与通信工程学院	28	108	6.0	8.0
3	曹雪虹	南京工程学院信息与通信工程学院	57	151	8.0	8.0
4	陈乐	南京邮电大学通信与信息工程学院	2	6	1.0	2.0