基于语义特征立方体切片的人体动作识别

• 作者: 康书宁 张良
• 来源期刊: 信号处理
• 学科: 工学
• 关键词: 人体动作识别 特征立方体切片 特征融合 卷积神经网络 时空特征
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 论文
• 页码范围: 1897-1905
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16798/j.issn.1003-0530.2020.11.012

摘要

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题.针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征.该模型在时序分割网络(Temporal Segment Net-works,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片.另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练.与TSN模型相比,该模型在UCF101和HMDB51数据集上的准确率均有所提升.实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高.