基于信息增益的文本特征权重改进算法

• 作者: 刁兴春 曹建军 李凯齐
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 特征分布 特征加权 文本分类
• 年，卷（期）: 2011,（1）
• 页码范围: 16-18,21
• 分类号: TP391
• 字数: 4392字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2011.01.006

摘要

传统tf.idf算法中的idf函数只能从宏观上评价特征区分不同文档的能力,无法反映特征在训练集各文档以及各类别中分布比例上的差异时特征权重计算结果的影响,降低文本表示的准确性.针对以上问题,提出一种改进的特征权重计算方法tf.ig igc.该方法从考察特征分布入手,通过引入信息论中信息增益的概念,实现对上述特征分布具体维度的综合考虑,克服传统公式存在的不足.实验结果表明,与tf.idf.ig和tf.idf.igc2种特征权重计算方法相比,tf.ig.igc在计算特征权重时更加有效.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刁兴春		13	128	7.0	11.0
2	曹建军		10	115	7.0	10.0
3	李凯齐	解放军理工大学指挥自动化学院	5	53	3.0	5.0