多模型融合动作识别研究

• 作者: 张艺 田曼
• 来源期刊: 电子测量技术
• 学科: 工学
• 关键词: 深度学习 动作识别 多模型融合
• 年，卷（期）: 2018,（20）
• 所属期刊栏目: 信息技术及图像处理
• 页码范围: 112-117
• 页数: 6页
• 分类号: TN911.73
• 语种: 中文
• DOI: 10.19651/j.cnki.emt.1801775

摘要

提出了一种多模型结融合的动作识别方法,目的是利用大数据时代下数据形态的多样性并结合已有模型,以提高识别准确率.该方法使用视频或图像序列与骨架序列对整个模型进行训练.对于骨架序列提取其关键帧,然后使用长短时记忆(LSTM)编码器对骨架序列进行特征提取得到骨架特征.接着使用卷积神经网络得到RGB视频或者图像序列的特征,进一步经过循环神经网络提取特征,得到RGB特征.网络的损失函数方程组由分类误差与上述两种特征的L2范数组成.使用混合最速下降进行网络优化.该方法使用关键帧训练LSTM编码器,大大缩短了训练时间.结合手工提取的关键帧与非监督方式获取的卷积特征,提高识别准确率.在Florence和MSR3D数据集上的实验结果表明,该方法对动作识别具有良好的分类效果.