一种基于long short-term memory的唇语识别方法

• 作者: 周曦 田国栋 马宁
• 来源期刊: 中国科学院大学学报
• 学科: 工学
• 关键词: 唇语识别 long short-term memory 计算机视觉
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 信息与电子科学
• 页码范围: 109-117
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.7523/j.issn.2095-6134.2018.01.015

摘要

唇动视觉信息是说话内容的重要载体.受嘴唇外观、背景信息和说话习惯等影响,即使说话者说相同的内容,唇动视觉信息也会相差很大.为解决唇语视觉信息多样性的问题,提出一种基于long short-term memory(LSTM)的新的唇语识别方法.以往大多数的方法从嘴唇外表信息入手.本方法用嘴唇关键点坐标描述嘴唇形变信息作为唇语视频的特征,它具有类内一致性和类间区分性的特点.然后利用LSTM对特征进行时序编码,它能学习具有区分性和泛化性的空间-时序特征.在公开的唇语数据集GRID、MIRACL-VC和OuluVS上对本方法做了针对分割的单词或短语的说话者独立的唇语识别评估.在GRID和MIRACL-VC上,本方法的准确率比传统方法至少高30％;在OuluVS上,本方法的准确率接近于最优结果.以上实验结果表明,本文提出的基于LSTM的唇语识别方法有效地解决了唇语视觉信息多样性的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马宁		50	474	8.0	21.0
5	田国栋	中国科学院重庆绿色智能技术研究院	2	17	1.0	2.0
6	周曦	中国科学院重庆绿色智能技术研究院	12	95	6.0	9.0