并行化改进的朴素贝叶斯算法在中文文本分类上的应用

• 作者: 彭子豪 谭欣
• 来源期刊: 科学技术创新
• 学科: 工学
• 关键词: 文本分类 朴素贝叶斯 特征加权 并行计算
• 年，卷（期）: 2020,（26）
• 所属期刊栏目: 创新创业论坛
• 页码范围: 176-178
• 页数: 3页
• 分类号: TP18
• 字数: 3406字
• 语种: 中文

摘要

进入大数据时代,中文文本的数据量的显著增加,如何针对大数据量的文本数据进行有效分类是一个重要问题.传统的朴素贝叶斯算法在进行分类时,认为特征属性对分类决策的贡献是相同的,同时对于大数据集的处理也存在性能低下的缺点.针对如上问题,本文提出了一种基于TFIDFCF特征加权的并行化朴素贝叶斯文本分类算法,该算法通过MapReduce并行框架实现.利用THUCNews新闻文本数据开展文本分类处理,实验结果表明,并行框架下的TFIDFCF特征加权的朴素贝叶斯算法在训练速度和预测精度上都有提高.