中文文本分类中特征抽取方法的比较研究

• 作者: 代六玲 陈肇雄 黄河燕
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 文本自动分类 特征抽取 支持向量机 KNN
• 年，卷（期）: 2004,（1）
• 页码范围: 26-32
• 页数: 7页
• 分类号: TP18
• 字数: 5595字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2004.01.005

摘要

本文比较研究了在中文文本分类中特征选取方法对分类效果的影响.考察了文档频率DF、信息增益IG、互信息MI、χ2分布CHI四种不同的特征选取方法.采用支持向量机(SVM)和KNN两种不同的分类器以考察不同抽取方法的有效性.实验结果表明,在英文文本分类中表现良好的特征抽取方法(IG、MI和CHI)在不加修正的情况下并不适合中文文本分类.文中从理论上分析了产生差异的原因,并分析了可能的矫正方法包括采用超大规模训练语料和采用组合的特征抽取方法.最后通过实验验证组合特征抽取方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄河燕	中国科学院计算机语言信息工程研究中心	54	1398	18.0	36.0
2	陈肇雄	中国科学院计算机语言信息工程研究中心	37	1042	13.0	32.0
3	代六玲	南京理工大学计算机科学系	7	587	4.0	7.0