十字交叉与时空注意力在动作识别系统的实践

• 作者: 马浩男 陈晓源
• 来源期刊: 福建电脑
• 关键词: 深度学习 动作识别 时空注意力 十字交叉注意力 特征融合
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 论著|Research Articles
• 页码范围: 29-32
• 页数: 4页
• 分类号: TP39
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2021.05.007

摘要

本文针对已有的动作网络训练方法中单种注意力机制难以捕获足够的关键信息,以及缺少综合考虑空间特征和运动特征,将两者进行有效融合的现状,提出一种结合时空注意力和十字交叉注意力的动作识别系统.首先,对视频进行预处理,获得RGB图像序列与光流图像序列,并分别提取图像特征表示;然后,将训练样本集输入到时空注意力模块和特征融合模块中训练直到网络收敛;最后,对视频进行分类.