基于信息增益的文本特征选择方法

• 作者: 任永功 尹明飞 杨荣杰 马名威
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 特征选择 文本分类 信息增益值 冗余特征 不平衡数据集
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 127-130
• 分类号: TP301.6
• 字数: 5466字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2012.11.029

摘要

在类和特征分布不均时,传统信息增益算法的分类性能急剧下降.针对此不足,提出一种基于信息增益的文本特征选择方法(TDpIG).首先对数据集按类进行特征选择,以减少数据集不平衡性时特征选取的影响.其次运用特征出现概率计算信息增益权值,以降低低频词对特征选择的干扰.最后使用离散度分析特征在每类中的信息增益值,过滤掉高频词中的相对冗余特征,并对选取的特征应用信息增益差值做进一步细化,获取均匀精确的特征子集.通过对比实验表明,选取的特征具有更好的分类性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	任永功	辽宁师范大学计算机与信息技术学院	74	975	12.0	30.0
2	杨荣杰	辽宁师范大学计算机与信息技术学院	5	102	3.0	5.0
3	尹明飞	辽宁师范大学计算机与信息技术学院	3	86	3.0	3.0
4	马名威	辽宁师范大学计算机与信息技术学院	3	88	2.0	3.0