基于多层卷积神经网络特征和双向长短时记忆单元的行为识别

• 作者: 刘纯平 季怡 徐鑫 王朝晖 葛瑞 龚声蓉
• 来源期刊: 控制理论与应用
• 关键词: 行为识别 卷积神经网络 递归神经网络 双向递归神经网络
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: “智能科学与大数据工程”专题报告
• 页码范围: 790-796
• 页数: 7页
• 分类号: TP273
• 语种: 中文
• DOI: 10.7641/CTA.2017.60607

摘要

鲁棒的视频行为识别由于其复杂性成为了一项极具挑战的任务.如何有效提取鲁棒的时空特征成为解决问题的关键.在本文中,提出使用双向长短时记忆单元(Bi-LSTM)作为主要框架去捕获视频序列的双向时空特征.首先,为了增强特征表达,使用多层的卷积神经网络特征代替传统的手工特征.多层卷积特征融合了低层形状信息和高层语义信息,能够捕获丰富的空间信息.然后,将提取到的卷积特征输入Bi-LSTM,Bi-LSTM包含两个不同方向的LSTM层.前向层从前向后捕获视频演变,后向层反方向建模视频演变.最后两个方向的演变表达融合到Softmax中,得到最后的分类结果.在UCF101和HMDB51数据集上的实验结果显示本文的方法在行为识别上可以取得较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘纯平	苏州大学计算机科学与技术学院	54	665	13.0	24.0
4	王朝晖	苏州大学计算机科学与技术学院	35	153	8.0	10.0
5	徐鑫	苏州大学计算机科学与技术学院	9	11	2.0	3.0
6	季怡	苏州大学计算机科学与技术学院	11	51	5.0	7.0
7	龚声蓉	常熟理工学院计算机科学与工程学院	16	72	5.0	8.0
8	葛瑞	苏州大学计算机科学与技术学院	1	5	1.0	1.0