联合无监督词聚类的递归神经网络语言模型

• 作者: 刘章 陈小平
• 来源期刊: 计算机系统应用
• 关键词: 递归神经网络 词性标注 布朗词聚类 语言模型
• 年，卷（期）: 2014,（5）
• 页码范围: 101-106
• 页数: 6页
• 字数: 4930字
• 语种: 中文

摘要

研究表明，在递归神经网络语言模型的输入层加入词性标注信息，可以显著提高模型的效果。但使用词性标注需要手工标注的数据训练，耗费大量的人力物力，并且额外的标注器增加了模型的复杂性。为了解决上述问题，本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层。实验显示，在Penn Treebank语料上，加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降8~9%。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈小平	中国科学技术大学计算机科学与技术学院	94	783	15.0	22.0
2	刘章	中国科学技术大学计算机科学与技术学院	1	4	1.0	1.0