基于互信息改进算法的新词发现对中文分词系统改进

• 作者: 于根 刘春丽 刘睿 李晓戈 杜丽萍
• 来源期刊: 北京大学学报（自然科学版）
• 学科: 工学
• 关键词: 新词识别 未登录词 互信息 PMI改进算法 中文分词
• 年，卷（期）: 2016,（1）
• 页码范围: 35-40
• 页数: 6页
• 分类号: TP391
• 字数: 5148字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2016.024

摘要

提出一种非监督的新词识别方法.该方法利用互信息(PMI)的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2～n元网络新词(n为发现的新词最大长度,可以根据需要指定).基于257MB的百度贴吧语料实验,当PMIk方法的参数为10时,结果精度达到97.39％,比PMI方法提高28.79％,实验结果表明,该新词发现方法能够有效地从大规模网络语料中发现新词.将新词发现结果编纂成用户词典,加载到汉语词法分析系统ICTCLAS中,基于10 KB的百度贴吧语料实验,比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93％,3.73％和5.91％.实验表明,通过进行新词发现能有效改善分词系统对网络文本的处理效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜丽萍		4	109	4.0	4.0
2	李晓戈		15	171	6.0	13.0
3	刘睿		9	95	4.0	9.0
4	于根		3	75	3.0	3.0
5	刘春丽		2	73	2.0	2.0