基于深度学习的连续手语语句识别算法

• 作者: 李晨 胡作进 黄元元
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 连续手语语句识别 过渡动作 卷积神经网络 长短期记忆网络 词间转移概率
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 人工智能技术
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2021.01.001

摘要

目前,关于连续手语语句识别的研究相对较少,原因在于难以有效地分割出手语词.该文利用卷积神经网络提取手语词的手型特征,同时利用轨迹归一化算法提取手语词的轨迹特征,并在此基础上完成长短期记忆网络的构建,从而为手语语句识别准备好手语词分类器.对于一个待识别的手语语句,采用基于右手心轨迹信息的分割算法来检测过渡动作.由过渡动作可以将语句分割为多个片段,考虑到某些过渡动作可能是手语词内部的动作,所以将若干个片段拼接成一个复合段,并按照层次遍历的次序对所有复合段运用手语词分类器进行识别.最后,采用跨段搜索的动态规划算法寻找最大后验概率的词汇序列,从而完成手语语句的识别.实验结果表明,该算法可以对47个常用手语词组成的语句做出识别,且具有较高的准确性和实时性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李晨		30	121	7.0	9.0
2	黄元元		22	138	6.0	11.0
3	胡作进		1	0	0.0	0.0