文本分类中一种改进的特征项权重计算方法

• 作者: 张琳 李朝辉
• 来源期刊: 福建师范大学学报（自然科学版）
• 学科: 工学
• 关键词: TF-IDF 类间区分度 类内贡献度 文本分类
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 数学与信息科学
• 页码范围: 49-54
• 页数: 6页
• 分类号: TP391
• 字数: 4168字
• 语种: 中文
• DOI: 10.12046/j.issn.1000-5277.2020.02.006

摘要

TF-IDF方法是文本向量化过程中一种常用的特征项权重计算方法,衡量的是特征项在整个文档集中的重要性.针对文本分类过程中TF-IDF方法未能体现特征项对类别的区分能力和对类别的代表性问题,基于文档类别,结合特征项的类间区分度和类内贡献度,提出一种改进的TF-IDF权重计算方法,并采用KNN和SVM模型对改进后算法的分类性能进行了验证.实验结果表明,与传统的TF-IDF方法相比,改进后的权重计算方法不仅在整个测试数据集上能够取得较高的宏平均精确率、宏平均召回率和宏平均F1,而且使测试数据集绝大部分类别的分类性能得到了较大提升.因此,改进后的TF-IDF权重计算方法是有效且可行的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张琳	大连海事大学航运经济与管理学院	11	116	5.0	10.0
2	李朝辉	大连海事大学航运经济与管理学院	12	41	4.0	6.0