基于字分类的中文分词的研究

• 作者: 李远方 贾时银 邓世昆 韩月阳
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 中文分词 互信息 t-测试 分类
• 年，卷（期）: 2011,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 29-31,35
• 分类号: TP391.1
• 字数: 3865字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2011.07.008

摘要

中文分词是白然语言处理的前提和基础,利用基于字分类的方法实现中文分词,就是将中文分词想象成字分类的过程.把字放入向前向后相邻两个字这样的一个语境下根据互信息统计将字分成四种类别,即跟它前面结合的字,跟它后面结合的字,跟它前后结合的字,独立的字.在分词的过程中采用了t-测试算法,一定程度上解决了歧义问题.以人民日报为语料库进行训练和测试,实验结果表明,该方法能够很好地处理歧义问题,分词的正确率达到了90.3%,有了明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾时银	云南大学信息学院	4	83	4.0	4.0
2	邓世昆	云南大学信息学院	18	145	7.0	12.0
3	李远方	云南大学信息学院	4	99	4.0	4.0
4	韩月阳	云南大学信息学院	3	62	3.0	3.0