一种基于改进的TF-IDF和支持向量机的中文文本分类研究

• 作者: 郭太勇
• 来源期刊: 软件
• 学科: 工学
• 关键词: 文本分类 TF-IDF 卡方统计量 支持向量机
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 141-145
• 页数: 5页
• 分类号: TP181
• 字数: 3972字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2016.12.030

摘要

TF-IDF是一种应用在文本分类中常用的权值计算方法，传统的TD-IDF单纯考虑特征词频率以及包含特征词的文本数量，并没有很好的考虑特征词在文本中的重要程度以及类内分布均匀情况和类间分布离散的问题，可能会导致文本分类结果的偏差。本文引入卡方统计量 CHI 和特征词在文本中的位置作为修正因子并结合传统 TF-IDF 权值计算公式，很好的解决了特征词在类间分布以及关键词重要程度不足的问题，并应用支持向量机构建分类器，进行文本分类的实验验证。改进后的TF-IDF计算公式与传统TF-IDF相比，在查准率、查全率、F1测试值上都有一定程度的提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭太勇	北京邮电大学网络空间安全学院	1	8	1.0	1.0