结合全局词向量特征的循环神经网络语言模型

• 作者: 屈丹 张文林 李华 梁玉龙 王炳锡
• 来源期刊: 信号处理
• 学科: 工学
• 关键词: 循环神经网络 语言模型 全局词向量 语音识别
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 应用
• 页码范围: 715-723
• 页数: 9页
• 分类号: TN912.3
• 字数: 7644字
• 语种: 中文
• DOI: 10.16798/j.issn.1003-0530.2016.06.011

摘要

针对循环神经网络语言模型对长距离历史信息学习能力不足的问题,本文提出了结合全局词向量特征的循环神经网络语言模型.首先利用GloVe(Global Word Vectors)算法训练出全局词向量,然后将其作为特征向量输入到引入特征层的循环神经网络中进行训练.相对于局部词向量方法,全局词向量能够利用全局统计信息来训练出含有更加丰富的语义和句法信息词向量.为了验证新方法的性能,本文在Penn Treebank和Wall StreetJournal语料库上分别进行困惑度和连续语音识别实验.实验结果表明结合全局词向量的循环神经网络语言模型的困惑度相比传统的循环神经网络语言模型降低了20.2％,同时语音识别系统的词错误率降低了18.3％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈丹	解放军信息工程大学信息系统工程学院	48	205	7.0	12.0
2	王炳锡	解放军信息工程大学信息系统工程学院	34	390	12.0	19.0
3	张文林	解放军信息工程大学信息系统工程学院	13	68	5.0	8.0
4	李华	解放军信息工程大学信息系统工程学院	2	18	2.0	2.0
5	梁玉龙	解放军信息工程大学信息系统工程学院	2	16	1.0	2.0