基于BiLSTM-Attention唇语识别的研究

• 作者: 刘大运 房国志 李修政 李骜 王倩 骆天依 魏华杰
• 来源期刊: 计算技术与自动化
• 关键词: 唇语识别 双向长短时记忆网络 注意力机制 深度学习 时序编码
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 150-155
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16339/j.cnki.jsjsyzdh.202001030

摘要

为了解决唇语识别中唇部特征提取和时序关系识别存在的问题,提出了一种双向长短时记忆网络(BiLSTM)和注意力机制(Attention Mechanism)相结合的深度学习模型.首先将唇部20个关键点得到的唇部不同位置的高度和宽度作为唇部的特征,使用BiLSTM对唇部特征序列进行时序编码,然后利用注意力机制来发掘不同时刻唇部时序特征对于整体唇语识别的不同权重,最后利用Softmax进行分类.在公开的唇语识别数据集GRID和MIRACL-VC上与传统的唇语识别模型进行实验对比.在GRID数据集上准确率至少提高了13.4％,在MIRACL-VC单词数据集上准确率至少提高了15.3％,短语数据集上准确率至少提高了9.2％.同时还与其他编码模型进行了实验对比,实验结果表明该模型能有效地提高唇语识别的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	房国志	哈尔滨理工大学测控技术与通信工程学院	47	438	9.0	19.0
2	王倩	哈尔滨理工大学计算机科学与技术学院	6	11	2.0	3.0
3	骆天依	哈尔滨理工大学自动化学院	2	1	1.0	1.0
4	刘大运	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0
5	李修政	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0
6	魏华杰	哈尔滨理工大学计算机科学与技术学院	2	1	1.0	1.0