关键语义区域链提取的视频人体行为识别

• 作者: 马淼 李贻斌 武宪青 高金凤 潘海鹏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 人机交互 深度学习网络 人体行为关键语义信息 人体行为识别 视频关键帧
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 2517-2529
• 页数: 13页
• 分类号: TP391
• 语种: 中文

摘要

目的 视频中的人体行为识别技术对智能安防、人机协作和助老助残等领域的智能化起着积极的促进作用,具有广泛的应用前景.但是,现有的识别方法在人体行为时空特征的有效利用方面仍存在问题,识别准确率仍有待提高.为此,本文提出一种在空间域使用深度学习网络提取人体行为关键语义信息并在时间域串联分析从而准确识别视频中人体行为的方法.方法 根据视频图像内容,剔除人体行为重复及冗余信息,提取最能表达人体行为变化的关键帧.设计并构造深度学习网络,对图像语义信息进行分析,提取表达重要语义信息的图像关键语义区域,有效描述人体行为的空间信息.使用孪生神经网络计算视频帧间关键语义区域的相关性,将语义信息相似的区域串联为关键语义区域链,将关键语义区域链的深度学习特征计算并融合为表达视频中人体行为的特征,训练分类器实现人体行为识别.结果 使用具有挑战性的人体行为识别数据集UCF(University of Central Florida)50对本文方法进行验证,得到的人体行为识别准确率为94.3％,与现有方法相比有显著提高.有效性验证实验表明,本文提出的视频中关键语义区域计算和帧间关键语义区域相关性计算方法能够有效提高人体行为识别的准确率.结论 实验结果表明,本文提出的人体行为识别方法能够有效利用视频中人体行为的时空信息,显著提高人体行为识别准确率.