基于时空注意力网络的中国手语识别

• 作者: 张毅 李丹 罗元
• 来源期刊: 半导体光电
• 学科: 工学
• 关键词: 手语识别 时空注意力 残差3D网络 卷积LSTM网络
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 光电技术及应用
• 页码范围: 414-419
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16818/j.issn1001-5868.2020.03.021

摘要

手语识别广泛应用于聋哑人与正常人之间的交流中.针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型.首先提出了基于残差3D卷积网络(Residual 3D Convolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域;随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性.所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧.最后,在CSL手语数据集上验证了算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗元	重庆邮电大学光电工程学院	192	1681	17.0	31.0
2	张毅	重庆邮电大学信息无障碍与服务机器人工程技术研究中心	281	2390	21.0	36.0
3	李丹	重庆邮电大学光电工程学院	22	51	4.0	6.0