文本分类中一种特征选择方法研究

• 作者: 刘建舟 王春枝 赵婧 邵雄凯
• 来源期刊: 计算机应用研究
• 关键词: 文本分类 特征选择 分散度 集中度 频度
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2261-2265
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.01.0078

摘要

针对文本分类中传统特征选择方法卡方统计量和信息增益的不足进行了分析,得出文本分类中的特征选择关键在于选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词.因此,综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度,提出一种基于类内类间文档频和词频统计的特征选择评估函数,并利用该特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库,而训练集的特征词库则为各类别特征词库的并集.通过基于SVM的中文文本分类实验表明,该方法与传统的卡方统计量和信息增益相比,在一定程度上提高了文本分类的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王春枝	湖北工业大学计算机学院	85	410	11.0	15.0
2	邵雄凯	湖北工业大学计算机学院	39	123	7.0	9.0
3	刘建舟	湖北工业大学计算机学院	14	102	6.0	9.0
4	赵婧	湖北工业大学计算机学院	1	8	1.0	1.0