多模式汉语连续语音识别中视觉特征的提取和应用

• 作者: 刘鹏 王作英
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 多模式 听-视觉融合 视觉特征提取 鲁棒性
• 年，卷（期）: 2004,（4）
• 页码范围: 79-84
• 页数: 6页
• 分类号: TP391
• 字数: 4189字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2004.04.013

摘要

本文对在汉语多模式汉语语音识别系统中利用视觉特征进行了研究,给出了基于多流隐马尔科夫模型 (Multi-stream HMM, MSHMM)的听视觉融合方案,并对有关视觉特征的两项关键技术：嘴唇定位和视觉特征提取进行了详细讨论.首先,我们研究了基于模板匹配的嘴唇跟踪方法；然后研究了基于线性变换的低级视觉特征,并与基于动态形状模型的特征作了比较；实验结果表明,引入视觉信息后无噪环境下语音识别声学层首选错误率相对下降36.09%,在噪声环境下的鲁棒性也有明显提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王作英	清华大学电子工程系网络与人机语音通信研究所	80	795	16.0	24.0
2	刘鹏	清华大学电子工程系网络与人机语音通信研究所	47	601	12.0	24.0