字典与统计相结合的中文分词方法

• 作者: 左万利 翟凤文 赫枫龄
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 中文分词 基于字典的分词 基于统计的分词 交集型分词歧义
• 年，卷（期）: 2006,（9）
• 所属期刊栏目: 其它
• 页码范围: 1766-1771
• 页数: 6页
• 分类号: TP391.12
• 字数: 7206字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2006.09.039

摘要

提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速度;在基于统计的处理过程中,通过统计和规则相结合的方法提高了交集型歧义切分的准确率,并且一定条件下解决了语境中高频未登录词问题,实验结果表明,由本文算法实现的分词系统DSfenci的分全率达99.52%,准确率达98.52%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	左万利	吉林大学软件学院	88	1273	20.0	31.0
2	赫枫龄	吉林大学软件学院	34	590	13.0	24.0
3	翟凤文	吉林大学软件学院	2	162	2.0	2.0