基于三维图卷积与注意力增强的行为识别模型

• 作者: 曹毅 刘晨 盛永健 黄子龙 邓小龙
• 来源期刊: 电子与信息学报
• 关键词: 行为识别 3维图卷积 注意力增强 时空信息
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 图像与智能信息处理|Image and Intelligent Information Processing
• 页码范围: 2071-2078
• 页数: 8页
• 分类号: TN911.73|TP391.41
• 语种: 中文
• DOI: 10.11999/JEIT200448

摘要

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法.针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究.研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率.