基于RNN结构下的字母级别语言模型的研究与实现

• 作者: 刘辰 殷乐 郭邵忠
• 来源期刊: 网络安全技术与应用
• 关键词: RNN 语言模型 自然语言处理 神经网络
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 安全模型、算法与编程
• 页码范围: 36-38
• 页数: 3页
• 字数: 2771字
• 语种: 中文

摘要

本文设计实现了一种neural language model,它的输入只有字母,输出为所预测的单词.该模型是一种recurrent neural net-work language model(RNN-LM),具体实现方面应用了较为成熟的long short-term memory(LSTM)结构,并在字符输入模块后使用了highway net-work技术,提高了该模型的性能,该模型在English Penn Treebank上测试结果达到了上游水平.并且训练出的模型的空间大小比传统DNN模型小的多.该模型在语意理解方面综合来说略微低于word level模型,但更加容易理解变形词汇,通过少量的模型变换可以转换成为word level模型,适应性较强.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘辰		2	4	1.0	2.0
2	郭邵忠		1	1	1.0	1.0
3	殷乐		2	4	1.0	2.0