基于双流非局部残差网络的行为识别方法

• 作者: 周云 陈淑荣
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 行为识别 双流卷积神经网络 非局部 特征提取 A-softmax
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 人工智能
• 页码范围: 2236-2240
• 页数: 5页
• 分类号: TP391
• 字数: 4470字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020010041

摘要

针对传统卷积神经网络(CNN)对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络(NL-ResNet)的行为识别方法.首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果.该方法能充分利用局部和全局特征提高模型的表征能力.在UCF101数据集上,NL-ResNet取得了93.5％的识别精度,与原始双流网络相比提高了5.5个百分点.实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周云	上海海事大学信息工程学院	11	33	4.0	5.0
2	陈淑荣	上海海事大学信息工程学院	39	136	7.0	9.0