基于端到端句子级别的中文唇语识别研究

• 作者: 张晓冰 戴锡笠 杨帆 龚海刚
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 中文唇语识别 深度学习 中文汉语言的特征 数据集采集及处理 端到端模型
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 1747-1760
• 页数: 14页
• 分类号: TP18
• 字数: 9295字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005709

摘要

近年来,随着深度学习的广泛应用,唇语识别技术也取得了快速的发展与传统的方法不同,在基于深度学习的唇语识别模型中,通常包含使用神经网络对图像进行特征提取和特征理解两个部分.根据中文唇语识别的特点,将识别过程划分为两个阶段——图片到拼音(P2P)以及拼音到汉字(P2CC)的识别.分别设计两个不同子网络针对不同的识别过程,当两个子网络训练好后,再把它们放在一起进行端到端的整体架构优化.由于目前没有可用的中文唇语数据集,因此采用半自动化的方法从CCTV官网上收集了6个月20.95GB的中文唇语数据集CCTVDS,共包含14 975个样本.此外,额外采集了269 558条拼音汉字样本数据对拼音到汉字识别模块进行预训练.在CCTVDS数据集上的实验结果表明,所提出的ChLipNet可分别达到45.7％的句子识别准确率和58.5％的拼音序列识别准确率.此外,ChLipNet不仅可以加速训练、减少过拟合,并且能够克服汉语识别中的歧义模糊性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	龚海刚	电子科技大学计算机科学与工程学院	41	740	15.0	27.0
2	杨帆	电子科技大学计算机科学与工程学院	36	128	7.0	9.0
3	戴锡笠	电子科技大学计算机科学与工程学院	3	3	1.0	1.0
4	张晓冰	电子科技大学计算机科学与工程学院	1	0	0.0	0.0