基于统计学习框架的中文新词检测方法

• 作者: 张海军 李勇 栾静 齐向伟
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 统计框架 新词检测 重复模式 语言知识特征 统计特征
• 年，卷（期）: 2012,（2）
• 所属期刊栏目: 人工智能
• 页码范围: 232-235
• 分类号: TP391
• 字数: 5131字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2012.02.054

摘要

新词自动检测是中文信息处理的重要基础,但中文字符极强的构词能力给新词检测带来了巨大困难.提出一种新词检测的形式化描述模型,用以建立特征和新词检测结果之间的统计联系.在此基础上提出应用统计学习模型作为框架来整合不同类型的可用特征,以充分发挥特征之间的组合作用,进一步改善新词检测效果.实验表明,统计框架方法的性能明显地优于特征的简单叠加,能有效提高新词检测效果,开放实验和封闭实验的F值分别为49.72％和69.83％,达到了目前的较好水平.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李勇	新疆师范大学计算机科学技术学院	42	237	10.0	13.0
2	张海军	新疆师范大学计算机科学技术学院	56	979	13.0	30.0
4	齐向伟	新疆师范大学计算机科学技术学院	12	24	2.0	4.0
5	栾静	新疆师范大学计算机科学技术学院	27	159	4.0	12.0