基于区分类别能力的高性能特征选择方法

• 作者: 孙春明 徐燕 李锦涛 王斌
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 特征选择 文本分类 信息检索
• 年，卷（期）: 2008,（1）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 82-89
• 页数: 8页
• 分类号: TP181
• 字数: 5802字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2008.00082

摘要

特征选择在文本分类中起着重要作用.文档频率(document frequency,简称DF)、信息增益(information gain,简称IG)和互信息(mutual information,简称MI)等特征选择方法在文本分类中广泛应用.已有的实验结果表明,IG是最有效的特征选择算法之一,DF稍差,而MI效果相对较差.在文本分类中,现有的特征选择函数性能的评估均是通过实验验证的方法,即完全是基于经验的方法.特征选择是选择部分最有区分类别能力的特征,为此,给出了两个特征选择函数需满足的基本约束条件,并提出了一种构造高性能特征选择的通用方法.依此方法构造了一个新的特征选择函数KG(knowledge gain).分析发现,IG和KG完全满足该构造方法,在Reuters-21578,OHSUMED和NewsGroup这3个语料集上的实验表明,IG和KG性能最好,在两个语料集上,KG甚至超过了IG.验证了提出的构造高性能特征选择函数方法的有效性,同时也在理论上给出了一个评价高性能特征选择算法的标准.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王斌	中国科学院计算技术研究所	325	6645	42.0	69.0
2	李锦涛	中国科学院计算技术研究所	115	2894	31.0	50.0
3	徐燕	中国科学院计算技术研究所	20	776	10.0	20.0
5	孙春明	中国科学院计算技术研究所	3	276	3.0	3.0