基于偏斜数据集的文本分类特征选择方法研究

• 作者: 刘振岩 孟丹 王伟平 王勇
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 文本分类 偏斜数据集 特征选择 类别差异
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 信息提取和文本挖掘
• 页码范围: 116-121
• 页数: 6页
• 分类号: TP391
• 字数: 4704字
• 语种: 中文

摘要

对于不同类别样本数量差别很大的偏斜文本数据集,使用传统的特征选择方法所选出的特征绝大多数来自于大类,会使得分类器偏重大类而忽略小类,直接影响分类效果.该文首先针对偏斜文本数据集的数据特点,分析发现偏斜数据集中影响特征选择的两个重要因素,即特征项的类别分布和类间差异,其中类别分布因素反映的是特征项在整个数据集中的类别频率差异;而类别差异因素反映的是特征项在不同类别之间的相对文档频率差异.然后基于这两个重要因素构造形成一个新的尤其适用于偏斜文本分类的特征选择函数 相对类别差异(Rel-ative Category Difference,RCD).与传统的特征选择方法进行对比实验的结果表明,RCD特征选择方法对于偏斜文本分类效果更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟丹	中国科学院信息工程研究所	68	909	15.0	28.0
2	王勇	北京理工大学软件学院	83	554	11.0	19.0
3	王伟平	中国科学院信息工程研究所	18	334	8.0	18.0
4	刘振岩	中国科学院计算技术研究所	1	8	1.0	1.0