词性标注中生词处理算法研究

• 作者: 张孝飞 蔡智 陈肇雄 黄河燕
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 自然语言理解 词性兼类 隐马尔科夫模型 语料库
• 年，卷（期）: 2003,（5）
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP391
• 字数: 2623字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2003.05.001

摘要

词性兼类是自然语言理解必须解决的一类非常重要的歧义现象,尤其是对生词的词性歧义处理有很大的难度.文章基于隐马尔科夫模型(HMM),通过将生词的词性标注问题转化为求词汇发射概率,在词性标注中提出了一种生词处理的新方法.该方法除了用到一个标注好的单语语料库外,没使用任何其他资源(比如语法词典、语法规则等),封闭测试正确率达97%左右,开放测试正确率也达95%左右,基本上达到了实用的程度.同时还给出了与其他同样基于HMM的词性标注方法的测试比较结果,结果表明本文方法的标注正确率有较大的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄河燕	中国科学院计算机语言信息工程研究中心	54	1398	18.0	36.0
2	陈肇雄	中国科学院计算机语言信息工程研究中心	37	1042	13.0	32.0
3	张孝飞	中国科技大学计算机系	2	42	2.0	2.0
7	蔡智	中国科技大学计算机系	1	40	1.0	1.0