融合空间-时间双网络流和视觉注意的人体行为识别

• 作者: 万俊伟 刘天亮 戴修斌 罗杰波 谯庆伟
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 人体行为识别 光流 双重时空网络流 视觉注意力 卷积神经网络 长短时记忆神经网络
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 论文
• 页码范围: 2395-2401
• 页数: 7页
• 分类号: TP391.41
• 字数: 5486字
• 语种: 中文
• DOI: 10.11999/JEIT171116

摘要

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法.首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征.然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征.接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布.其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布.最后,利用softmax分类视频中行为类别.实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘天亮	南京邮电大学江苏省图像处理与图像通信重点实验室	15	74	5.0	8.0
2	戴修斌	南京邮电大学江苏省图像处理与图像通信重点实验室	22	45	4.0	6.0
3	谯庆伟	南京邮电大学江苏省图像处理与图像通信重点实验室	1	5	1.0	1.0
4	万俊伟	南京邮电大学江苏省图像处理与图像通信重点实验室	1	5	1.0	1.0