文本分类中基于熵的词权重计算方法研究

• 作者: 张祖平 陈科文 龙军
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 特征词权重 熵加权 文本分类 类别区分力
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 1299-1309
• 页数: 11页
• 分类号: TP391
• 字数: 9563字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1509018

摘要

随着文本数据量变得很大且仍在迅猛增加,自动文本分类变得越来越重要.为了提高分类准确率,作为文本特征的词的权重计算方法是文本分类领域的研究热点之一.研究发现,基于信息熵的权重计算方法(熵加权)相对于其他方法更有效,但现有方法仍然存在问题,比如在某些语料库上相比TF-IDF(term frequency & inverse document frequency),它们可能表现较差.于是将对数词频与一个新的基于熵的类别区分力度量因子相结合,提出了LTF-ECDP(logarithmic term frequency&entropy-based class distinguishing power)方法.通过在TanCorp、WebKB和20 Newsgroups语料库上使用支持向量机(support vector machine,SVM)进行一系列文本分类实验,验证和比较了8种词权重计算方法的性能.实验结果表明,LTF-ECDP方法比其他熵加权方法和TF-IDF、TF-RF(term frequency&relevance frequency)等著名方法更优越,不仅提高了文本分类准确率,而且在不同数据集上的性能更加稳定.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	龙军	中南大学信息科学与工程学院	65	387	8.0	16.0
2	张祖平	中南大学信息科学与工程学院	85	617	13.0	21.0
3	陈科文	中南大学信息科学与工程学院	5	134	3.0	5.0