改进的文本特征选取算法研究

• 作者: 朱世玲 郑彦
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 特征选取 互信息 文档频率 文本分类 改进互信息 改进文档频率
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 66-69
• 页数: 4页
• 分类号: TP301.6
• 字数: 2966字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.05.014

摘要

特征选取的好坏决定了文本分类的准确度.文本特征选取通常有文档频率、互信息、信息增益、卡方统计量等方法.文中讨论了文档频率和互信息在特征选取时的缺点,基于这些缺点,提出了一种混合文档频率和互信息的改进算法.文档频率进行特征选取时会偏向选择高频词,而没有考虑到该词是否在类别间有区分度,所以提出通过计算词的文档频率的类别方差作为文档频率的权重来进行特征选取.互信息偏向选择低频词,也忽略了互信息值为负的那些特征作用,有些互信息为负的词反而包含更多的类别信息.所以对互信息的值取了绝对值来加强互信息为负的词的作用.通过对比DF、MI和改进的DFMI的实验结果,发现该算法在精度、召回率和F1度量上都有所提高,验证了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑彦	南京邮电大学计算机软件学院	27	121	7.0	9.0
2	朱世玲	南京邮电大学计算机软件学院	3	8	1.0	2.0