基于词频统计的中文分词的研究

• 作者: 康松林 朱小娟 谢文彪 费洪晓
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中文分词 词频统计 互信息 N元统计模型 t-测试
• 年，卷（期）: 2005,（7）
• 所属期刊栏目: 学术探讨
• 页码范围: 67-68,100
• 页数: 3页
• 分类号: TP393
• 字数: 4285字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2005.07.024

摘要

论文介绍了一个基于词频统计的中文分词系统的设计和实现.通过这个系统,可以将输入的连续汉字串进行分词处理,输出分割后的汉语词串,一般是二字词串,并得到一个词典.词典中不重复地存储了每次处理中得到的词语,以及这些词语出现的频率.这个系统选用了三种统计原理分别进行统计:互信息,N元统计模型和t-测试.文中还对这三种原理的处理结果进行了比较,以分析各种统计原理的统计特点,以及各自所适合的应用场合.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	康松林	中南大学信息科学与工程学院	40	463	9.0	21.0
2	费洪晓	中南大学信息科学与工程学院	105	1153	15.0	30.0
3	谢文彪	中南大学信息科学与工程学院	12	325	6.0	12.0
4	朱小娟	中南大学信息科学与工程学院	3	300	3.0	3.0