基于χ2统计量的不良文本过滤特征选择方法

• 作者: 管江红
• 来源期刊: 现代电子技术
• 关键词: 特征选择 χ2统计量 双层分类 不良文本过滤 特征项分布 评估指标
• 年，卷（期）: 2019,（21）
• 所属期刊栏目: 测控与自动化技术
• 页码范围: 182-186
• 页数: 5页
• 分类号: TN911.1-34|TP18
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2019.21.039

摘要

针对现有以χ2统计量为基础的特征选择方法在不良文本过滤过程中效果欠佳的问题,利用双层分类对特征选择方法进行改良,提出一种不良文本过滤特征选择方法.首先通过改良逆文档频率来区分特征项在所属类别类内与其他类别之间的分布差别;其次,引入逆类别频率弥补抑制强度;最后,加入逆上层类别频率,清晰划分具有较高相似度的某两类二层类别.所改良的特征选择方法能够弥补现有χ2统计量在类内/类间特征项分布情况判别能力的缺陷,将其应用于不良文本过滤过程,能够充分贴合不良文本过滤过程的特征选择需求.通过对比评估指标的结果,表明所提方法在不良文本过滤领域具有更好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	管江红	西藏民族大学信息工程学院	17	41	4.0	6.0