使用最大熵模型进行中文文本分类

• 作者: 李荣陆 王建会 胡运发 陈晓云 陶晓鹏
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 文本分类 最大熵模型 特征 N-Gram
• 年，卷（期）: 2005,（1）
• 所属期刊栏目: 信息处理
• 页码范围: 94-101
• 页数: 8页
• 分类号: TP391|TP18
• 字数: 7537字
• 语种: 中文

摘要

随着WWW的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.由于最大熵模型可以综合观察到各种相关或不相关的概率知识,对许多问题的处理都可以达到较好的结果.但是,将最大熵模型应用在文本分类中的研究却非常少,而使用最大熵模型进行中文文本分类的研究尚未见到.使用最大熵模型进行了中文文本分类.通过实验比较和分析了不同的中文文本特征生成方法、不同的特征数目,以及在使用平滑技术的情况下,基于最大熵模型的分类器的分类性能.并且将其和Bayes,KNN,SVM三种典型的文本分类器进行了比较,结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡运发	复旦大学计算机与信息技术系	150	3430	27.0	54.0
2	陶晓鹏	复旦大学计算机与信息技术系	19	564	7.0	19.0
3	王建会	复旦大学计算机与信息技术系	7	518	5.0	7.0
4	李荣陆	复旦大学计算机与信息技术系	12	908	8.0	12.0
5	陈晓云	复旦大学计算机与信息技术系	21	533	9.0	21.0