基于深度学习的中国手语翻译

• 作者: 杨学 胡彬 袁甜甜 赵伟
• 来源期刊: 电视技术
• 学科: 工学
• 关键词: 手语识别 神经机器翻译 CNN 时空注意力模型 语料库
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 视频应用与工程
• 页码范围: 52-55,80
• 页数: 5页
• 分类号: TP387
• 字数: 3582字
• 语种: 中文
• DOI: 10.16280/j.videoe.2019.02.012

摘要

本文提出了一种“sequence-to-sequence”的方法来解决中国手语的翻译问题.基本模型包括用于视频特征提取的预训练CNN和用于脱机机器翻译的两层LSTM.为了提高性能,我们还引入一些开源工具用于捕获身体姿态并注释来作为额外的特征.同时,使用Kinect2.0采集的大量样本作为训练数据,并提出一种面向手语者的时空注意力模型,以提高翻译的准确性.为了惠及其他研究人员和聋人,并帮助推广中国通用手语,我们已建立了一个较为庞大的连续中文手语语料库,并准备在全球范围内进行部分数据的共享.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵伟	天津理工大学聋人工学院	14	51	3.0	7.0
2	杨学	天津理工大学聋人工学院	9	32	2.0	5.0
3	胡彬	天津理工大学聋人工学院	7	4	1.0	1.0
4	袁甜甜	天津理工大学聋人工学院	13	23	3.0	4.0