基于时空注意力深度网络的视角无关性骨架行为识别

• 作者: 丰艳 原春锋 李鸽 王传旭
• 来源期刊: 计算机辅助设计与图形学学报
• 学科: 工学
• 关键词: 深度网络 时空注意力 角度无关性 骨架行为识别
• 年，卷（期）: 2018,（12）
• 所属期刊栏目: 图像与视觉
• 页码范围: 2271-2277
• 页数: 7页
• 分类号: TP391.41
• 字数: 5198字
• 语种: 中文
• DOI: 10.3724/SP.J.1089.2018.17095

摘要

针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题, 提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别, 该模型主要由特定视角子网和公共子网串联组成. 首先通过特定视角子网学习每个视角序列的判别性特征, 同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧; 然后特定视角子网的输出特征作为公共子网的输入, 通过公共子网进一步学习角度无关性特征; 最后输出行为分类结果. 为了保证网络的有效训练, 提出一个正则化交叉熵损失函数来推动网络多模块共同学习. 实验结果表明, 该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王传旭	青岛科技大学信息科学技术学院	45	244	9.0	14.0
2	丰艳	青岛科技大学信息科学技术学院	5	21	3.0	4.0
3	原春锋	中国科学院自动化研究所模式识别国家重点实验室	3	3	1.0	1.0
4	李鸽	青岛科技大学信息科学技术学院	1	2	1.0	1.0