融入注意力机制的视频多尺度时序融合行为识别模型

• 作者: 胡正平 邱悦 翟丰鋆 赵梦瑶 毕帅
• 来源期刊: 信号处理
• 关键词: 行为识别 卷积神经网络 时序融合 注意力
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 论文|Papers
• 页码范围: 1470-1478
• 页数: 9页
• 分类号: TP391.7
• 语种: 中文
• DOI: 10.16798/j.issn.1003-0530.2021.08.014

摘要

视频行为识别算法在特征提取过程中,存在未聚焦视频图像显著区域信息的问题,使模型分类效果不理想.为了提高网络区别关注的能力,提出融入注意力机制的视频多尺度时序行为识别算法模型.在视频长-短时序网络中分别融入通道-空间注意力和通道注意力模块,引入注意力机制使网络在训练过程中重新分配权重,捕捉视频内容与位置兴趣点,提高网络的表达能力.在Something-somethingV1和Jester数据集上的实验结果表明,融入轻量注意力模块的视频多尺度时序融合行为识别网络的性能得到有效提升,与其他行为识别网络相比体现出一定的优势.