基于ResNet-LSTM的具有注意力机制的办公人员行为视频识别

• 作者: 刘丽欣 向启怀 张传雷 武大硕 陈佳
• 来源期刊: 天津科技大学学报
• 学科: 工学
• 关键词: 人体行为识别 视频分析 残差网络(ResNet) LSTM 注意力(Attention)机制
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 72-80
• 页数: 9页
• 分类号: TP389.1
• 语种: 中文
• DOI: 10.13364/j.issn.1672-6510.20190252

摘要

针对人体行为视频分析中时间域和空间域上特征提取存在的易混乱以及运算成本高的问题,提出了ResNet-LSTM-Attention网络模型结构.该网络结构将空间域和时间域的特征分开提取,对于空间维度,将单帧图像输入残差网络(ResNet)模型,提取空间维度特征;对于时间维度,将多帧叠加后的空间维度特征作为输入,输入循环神经网络(LSTM)和注意力(Attention)机制的融合模型;最后将融合模型的输出经过softmax作为识别结果.将本网络模型应用到实验室采集的办公人员行为数据集上进行人体行为识别实验,并与视频分析中常用的C3D网络模型和无注意力机制的ResNet-LSTM模型进行了对比.实验结果表明,本文模型不仅有较高的识别准确率,而且训练用时和运算成本也大大降低.