基于改进CHI和TF-IDF的短文本分类的研究

• 作者: 代继鹏 邵峰晶 孙仁诚
• 来源期刊: 计算机与现代化
• 关键词: 文本分类 特征选择 XGBoost 卡方统计量 TF-IDF
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 算法设计与分析|DESIGN AND ANALYSIS OF ALGORITHM
• 页码范围: 6-11
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.06.002

摘要

为提高对数据量较少的短文本分类效果,有效降低特征空间的特征维度,本文针对传统CHI统计方法和TF-IDF权重计算方法的缺点,提出一种新的类词因子改进特征选择方法,用来提高分类准确性.对于传统CHI统计方法对低频词敏感、TF-IDF权重计算方法忽略特征项在类别间和类别内分布情况,通过引入类词因子来改进传统CHI统计方法和TF-IDF权重计算方法,并将两者结合使用,减少低频词带来的干扰.同时考虑类内和类间特征词分布的特殊情况,使用XG-Boost分类算法将提出方法用在数据量少且文本短的话题文本分类实验中,实验结果表明,与传统的CHI和TF-IDF方法相比,加入类词因子的特征选择方法提高了在平衡和非平衡语料集上的分类准确性,大幅度降低了对内存的占用.