基于MTL-DNN系统融合的混合语言模型语音识别方法

• 作者: 屈丹 张文林 李华 范正光
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 集外词 混合模型 多任务学习结层神经网络 系统融合
• 年，卷（期）: 2017,（5）
• 页码范围: 1012-1021
• 页数: 10页
• 分类号: TN912.3
• 字数: 7311字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.05.019

摘要

基于混合语言模型的语音识别系统虽然具有可以识别集外词的优点,但是集外词识别准确率远低于集内词.为了进一步提升混合语音识别系统的识别性能,本文提出了一种基于互补声学模型的多系统融合方法.首先,通过采用不同的声学建模单元,构建了两套基于隐马尔科夫模型和深层神经网络(Hidden Markov model and deep neural network,HMM-DNN)的混合语音识别系统;然后,针对这两种识别任务之间的关联性,采用多任务学习(Multi-task learning DNN,MTL-DNN)思想,实现DNN网络输入层和隐含层的共享,并通过联合训练提高建模精度.最后,采用ROVER(Recognizer output voting error reduction)方法对两套系统的输出结果进行融合.实验结果表明,相比于单任务学习DNN(Single-task learning DNN,STL-DNN)建模方式,MTL-DNN可以获得更好的识别性能;将两个系统的输出进行融合,能够进一步降低词错误率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈丹	解放军信息工程大学信息系统工程学院	48	205	7.0	12.0
2	张文林	解放军信息工程大学信息系统工程学院	13	68	5.0	8.0
3	李华	解放军信息工程大学信息系统工程学院	2	18	2.0	2.0
4	范正光	解放军信息工程大学信息系统工程学院	4	14	2.0	3.0