结合改进的CHI统计方法的TF-IDF算法优化

• 作者: 崔岩 庞海龙 李万龙 赵辉 马莹
• 来源期刊: 计算机应用研究
• 关键词: 文本分类 CHI统计 TF-IDF算法 特征选择
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2596-2598,2603
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.01.0136

摘要

为了克服传统的CHI统计方法存在特征项出现频率与类别负相关的情况和某一个特征项存在于某一个文本中的概率问题,针对传统的CHI统计方法引入了负相关判定、频度等重要因素进行了改进,并结合语义相似度的计算方法对TF-IDF算法进行了优化,在WEKA软件上采用了KNN(K-nearest neighbor)分类器和支持向量机(SVM)分类器分别对微博情感语料进行分类,该实验结果表明,新方法在文本分类的准确性上有明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李万龙	长春工业大学计算机科学与工程学院	66	472	9.0	19.0
2	赵辉	长春工业大学计算机科学与工程学院	38	168	7.0	12.0
3	马莹	长春工业大学计算机科学与工程学院	7	22	4.0	4.0
4	庞海龙	长春工业大学计算机科学与工程学院	4	12	2.0	3.0
5	崔岩	长春工业大学计算机科学与工程学院	5	16	3.0	4.0