基于SVM的词频统计中文分词研究

• 作者: 朱小娟 陈特放
• 来源期刊: 科技与创新
• 关键词: 中文分词 词频统计 互信息 支持向量机
• 年，卷（期）: 2007,（30）
• 所属期刊栏目: 软件时空
• 页码范围: 205-207
• 页数: 3页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2007.30.079

摘要

本文详细介绍SVM(支持向量机)在词频统计中文分词中的应用.可将输入的连续字串进行分词处理,输出分割后的汉语词串,一般为二字词串,并得到一个词典.词典中不重复地存储了每次处理中得到的词语,以及这些词语出现的频率.选用了互信息原理进行统计.并采用SVM算法,分词的准确性与传统相比有了很大的提高,并具有一定的稳定性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈特放	中南大学信息科学与工程学院	163	1182	17.0	25.0
2	朱小娟	中南大学信息科学与工程学院	3	300	3.0	3.0