一种朴素贝叶斯文本分类算法的分布并行实现

• 作者: 范冰冰 郭绪坤
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 朴素贝叶斯 文本分类 TF-IDF修正 数据平滑 MapReduce并行化
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 算 法
• 页码范围: 240-243,296
• 页数: 5页
• 分类号: TP311
• 字数: 4998字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.11.056

摘要

针对当前朴素贝叶斯文本分类算法在处理文本分类时存在的数据稀疏、分类不准及效率低的问题，提出一种基于MapReduce的 Dirichlet 朴素贝叶斯文本分类算法。算法首先根据体征词语义因素以及类内分布情况对权重进行加权调整，以此对的计算公式进行修正；引入统计语言建模技术中的 Dirichlet 数据平滑方法来降低数据稀疏对分类性能的影响，并在 Hadoop 云计算平台采用 MapReduce 编程模型实现本文算法的并行化。通过测试实验对比分析可知，该算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率，并具有优良的可扩展性和数据处理能力。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范冰冰	华南师范大学计算机学院	70	284	7.0	13.0
2	郭绪坤		19	27	3.0	5.0