段落及类别分布的特征选择方法

• 作者: 孙红光 孙铁利 彭杨 杨凤芹 樊娜
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 文本分类 特征选择 段落分布 类别分布
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 人工智能与算法研究
• 页码范围: 17-22
• 页数: 6页
• 分类号: TP391
• 字数: 5425字
• 语种: 中文

摘要

特征选择是文本分类过程中解决数据高维问题的重要步骤.现有特征选择方法主要是基于特征词的词频或文档频率.虽然这些信息在一定程度上度量了特征词的重要程度,但它们不能刻画特征词在文档中的分布情况.针对这一问题,将文档的自然段落作为统计单元,提出了特征词的段落频率,该度量标准能够描述特征词在文档中的均匀分布程度.然后,将特征词的段落频率与特征词在类内和类间的分布信息相结合提出一种新的特征选择方法FSPC.为了验证方法的有效性,采用支持向量机和朴素贝叶斯作为分类器,在复旦语料库和搜狐新闻语料库上将FSPC与CHI Square,DF,IG和CMFS四种特征选择方法进行对比实验.实验结果表明,就评价指标F1值而言,FSPC方法的性能优于所对比的方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙铁利	东北师范大学计算机科学与信息技术学院	42	479	8.0	21.0
3	孙红光	东北师范大学计算机科学与信息技术学院	18	109	6.0	9.0
7	杨凤芹	东北师范大学计算机科学与信息技术学院	11	147	5.0	11.0
13	彭杨	东北师范大学计算机科学与信息技术学院	2	12	2.0	2.0
14	樊娜	东北师范大学计算机科学与信息技术学院	1	4	1.0	1.0