基于2D转3D骨架的多特征融合实时动作识别

• 作者: 任国印 吕晓琪 李宇豪
• 来源期刊: 激光与光电子学进展
• 学科: 工学
• 关键词: 图像处理 三维骨架估计 人体动作识别 多分支网络 多特征融合
• 年，卷（期）: 2021,（24）
• 所属期刊栏目: 图像处理|Image Processing
• 页码范围: 233-241
• 页数: 9页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3788/LOP202158.2410010

摘要

提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别.在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标.在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络.在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务.在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2％,交叉视野准确率为95.6％.实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别.