文本分类TF-IDF算法的改进研究

• 作者: 叶雪梅 夏锦春 毛雪岷 王波
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 新词 词频-逆文档频率(TF-IDF) 向量空间模型 文本分类
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 104-109,161
• 页数: 7页
• 分类号: TP391
• 字数: 7637字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1805-0071

摘要

中国互联网环境的发展,让大量蕴含丰富信息的新词得以普及.而传统的特征词权重TF-IDF(Term Frequency and Inverted Document Frequency)算法主要考虑TF和IDF两个方面的因素,未考虑到新词这一新兴词类的优势.针对特征项中的新词对分类结果的影响,提出基于网络新词改进文本分类TF-IDF算法.在文本预处理中识别新词,并在向量空间模型表示中改变特征权重计算公式.实验结果表明把新词发现加入文本预处理,可以达到特征降维的目的,并且改进后的特征权重算法能优化文本分类的结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	毛雪岷	合肥工业大学管理学院	26	121	6.0	9.0
5	王波	合肥工业大学管理学院	17	117	8.0	10.0
9	叶雪梅	合肥工业大学管理学院	1	27	1.0	1.0
13	夏锦春	合肥工业大学管理学院	2	28	1.0	2.0