融合手部骨架灰度图的深度神经网络静态手势识别

• 作者: 章东平 束元 周志洪
• 来源期刊: 传感技术学报
• 关键词: 深度学习 手势识别 手部骨架灰度图 无约束环境
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 传感器信号处理|Signal Processing for Sensors
• 页码范围: 203-210
• 页数: 8页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1004-1699.2021.02.010

摘要

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图.网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数.通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率.实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68％;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8％.