结合RGB-D视频和卷积神经网络的行为识别算法

• 作者: 李元祥 谢林柏
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 人体行为识别 深度运动图 RGB 卷积神经网络 决策融合
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 图像处理
• 页码范围: 3052-3058
• 页数: 7页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2020.12.046

摘要

针对目前早期融合RGB图像和深度图像的特征时存在特征维度高,计算复杂等问题,提出一种结合RGB-D视频序列和卷积神经网络的行为识别算法.首先为了提取RGB视频序列的静态表观和短时域运动信息,将RGB视频序列可重叠地分割为一定数量的子序列片段,输入到卷积神经网络中训练.然后在深度图序列中,将计算得到的改进深度运动图(Depth Motion Map,DMM)作为长时域运动信息表示并输入到二维卷积神经网络训练.最后利用改进的加权乘积法融合上述多路卷积神经网络的预测分数,得到最终的分类结果.实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取行为动作的静态表观和时域运动信息,并取得了较好的识别效果.