基于深度学习框架的多模态动作识别

• 作者: 韩敏捷
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 深度学习 多模态 动作识别
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 图像处理
• 页码范围: 48-52
• 页数: 5页
• 分类号: TP391.41
• 字数: 3507字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2017.07.009

摘要

提出一种基于深度神经网络的多模态动作识别方法,根据不同模态信息的特性分别采用不同的深度神经网络,适应不同模态的视频信息,并将多种深度网络相结合,挖掘行为识别的多模态特征.主要考虑人体行为静态和动态2种模态信息,结合微软Kinect的多传感器摄像机获得传统视频信息的同时也能获取对应的深度骨骼点信息.对于静态信息采用卷积神经网络模型,对于动态信息采用递归循环神经网络模型.最后将2种模型提取的特征相融合进行动作识别和分类.在MSR 3D的行为数据库上实验结果表明,本文的方法对动作识别具有良好的分类效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩敏捷	南京理工大学计算机科学与工程学院	1	7	1.0	1.0