汉语中新词识别方法研究

• 作者: 王倩倩 范通让
• 来源期刊: 河北省科学院学报
• 关键词: 新词 PAT-Array 互信息 垃圾串过滤 内部模式
• 年，卷（期）: 2014,（2）
• 页码范围: 35-40
• 页数: 6页
• 分类号: TP391.12
• 语种: 中文

摘要

随着互联网和社会的飞速发展,新词不断涌现.识别和整理这些新词语,是中文信息处理中的一个重要研究课题.提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高了新词的召回率.并在此基础上分析新词内部模式,添加了垃圾串过滤机制.单字串过滤主要是运用垃圾词典的方法,多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法.由此,大幅度提高了新词识别的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范通让	石家庄铁道大学信息科学与技术学院	48	186	8.0	12.0
2	王倩倩	石家庄铁道大学信息科学与技术学院	1	0	0.0	0.0