基于归一化文档频率的文本分类特征选择方法

• 作者: 范贵生 虞慧群 赵鸿山
• 来源期刊: 华东理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 文本分类 特征选择 文档频率 归一化
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 计算机科学
• 页码范围: 809-814
• 页数: 6页
• 分类号: TP301.6
• 字数: 5906字
• 语种: 中文
• DOI: 10.14135/j.cnki.1006-3080.20180914005

摘要

特征选择是文本分类的一个重要过程,对分类性能的提升发挥着重要的作用.传统的文档频率(Document Frequency,DF)特征选择指标只是从全局的角度统计包含特征的文档数作为选择的依据,没有考虑特征与类别的相关性.针对该问题,本文从特征和类别的相关性出发,对文档频率分别进行局部和全局的归一化处理,提出了一种归一化文档频率(Normalized Document Frequency,NDF)的特征选择指标,并在不同的特征维度下验证特征选择对文本分类性能的影响.结果表明,应用NDF特征选择指标可以得到更高的分类准确率和Macro-F1值.因此,对文档频率进行归一化处理可以更好地选择出有价值的特征,有效提升文本的分类性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	虞慧群	华东理工大学计算机科学与工程系	113	814	14.0	24.0
2	范贵生	华东理工大学计算机科学与工程系	47	341	10.0	17.0
6	赵鸿山	华东理工大学计算机科学与工程系	1	4	1.0	1.0