混合CHI和MI的改进文本特征选择方法

• 作者: 王振 邱晓晖
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 文本分类 特征选择 卡方统计 互信息 词频因子 调节参数
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 87-90,94
• 页数: 5页
• 分类号: TP391
• 字数: 4338字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.04.018

摘要

特征选择在文本分类技术中是一个重要的关键部分,特征选择的好坏直接决定最终的分类结果.卡方统计量(CHI-square statistic,CHI)和互信息(mutual information,MI)是特征选择模块经常使用的方法.针对卡方统计量方法不考虑词频的不足,引入词频因子.考虑互信息方法倾向选择低频词的缺点,并研究特征词在不同类别文档内的分布情况对互信息方法的特征选择的影响,通过引入特征的词频因子和调节参数对卡方统计量方法和互信息方法进行改进,并混合改进后的卡方统计量方法和互信息方法,提出一种混合的特征选择算法(CHMI).通过对CHI方法、MI方法、改进的CHI方法、改进的MI方法和CHMI方法进行实验对比,使用CHMI方法进行特征选择,使最终分类结果的查准率和F1值都有了提高,验证了CHMI方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邱晓晖	南京邮电大学通信与信息技术学院	49	363	10.0	17.0
2	王振	南京邮电大学通信与信息技术学院	5	27	3.0	5.0