HMM词性标注中高频生词的处理

• 作者: 牛秀萍 马建芬
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 隐马尔科夫模型 词性标注 生词处理
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 86-88
• 页数: 3页
• 分类号: TP391
• 字数: 3542字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.02.023

摘要

介绍在一种确定语料库中高频生词的处理方法。在分析隐马尔科夫模型在词性标注中的具体实现以及生词问题的关键所在的基础上，结合现有的生词处理方法，通过设定相应的阈值，并结合生词的词性特征，针对英汉生词词性分布的特点，选取生词中更加有价值的高频词加入训练文本，达到完善语料库，提高标注准确率的目的。并对HMM模型和加入生词处理方法之后的模型的标注准确性进行比较。实验表明，上述方法可以有效地选择出某领域具有代表性的高频词，在训练文本中加入这些词，能够较大提高词性标注的准确率，满足了词性标注应用于实际的基本要求。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马建芬		53	202	8.0	11.0
2	牛秀萍		1	3	1.0	1.0