基于CNN与Bi-LSTM的唇语识别研究

• 作者: 刘大运 安欣 房国志 李修政 胡城 骆天依 魏华杰
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 唇语识别 卷积神经网络 双向长短时记忆网络 深度学习 时序编码
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 人工智能
• 页码范围: 36-39
• 页数: 4页
• 分类号: TP301
• 字数: 3395字
• 语种: 中文
• DOI: 10.11907/rjdk.191058

摘要

针对唇语识别过程中唇部特征提取和时序关系存在的问题,提出一种卷积神经网络(CNN)和双向长短时记忆网络(Bi-LSTM)相结合的深度学习模型.利用CNN学习唇部特征,并将学习到的唇部特征送入Bi-LSTM进行时序编码,通过Softmax进行分类.建立NUMBER DATASET和PHRACE DATASET两个大型汉语数据集以解决汉语唇语数据缺失问题.将该模型与传统的唇语识别方法在两个数据集上进行实验对比,发现在NUMBER DATASET上识别准确率为81.3％,比传统方法提高了8.1％,在PHRACE DATASET上识别准确率为83.5％,比传统方法提高了9％.实验结果表明该模型能有效提高唇语识别的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	房国志	哈尔滨理工大学测控技术与通信工程学院	47	438	9.0	19.0
2	安欣	哈尔滨理工大学测控技术与通信工程学院	7	7	1.0	2.0
3	骆天依	哈尔滨理工大学自动化学院	2	1	1.0	1.0
4	刘大运	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0
5	李修政	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0
6	魏华杰	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0
7	胡城	哈尔滨理工大学自动化学院	1	1	1.0	1.0