基于MapReduce的朴素贝叶斯算法文本分类方法

• 作者: 张晨跃 刘黎志 邓开巍 刘杰
• 来源期刊: 武汉工程大学学报
• 学科: 工学
• 关键词: 朴素贝叶斯 分类 并行化 MapReduce
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 机电与信息工程
• 页码范围: 102-105
• 页数: 4页
• 分类号: TP311
• 语种: 中文
• DOI: 10.19843/j.cnki.CN42-1779/TQ.202009022

摘要

为了解决传统串行朴素贝叶斯算法分类性能低下的问题,提出一种基于朴素贝叶斯算法的并行化分类方法.选取多项式朴素贝叶斯,搭建Hadoop集群,通过卡方检验选取特征词,利用词频-逆文本频率指数方法计算出每个特征项的权值,并求出每类的权重总和,将权值应用到朴素贝叶斯公式中得到分类结果.实验结果表明:在该集群上设计的并行化朴素贝叶斯分类方法较比传统朴素贝叶斯方法,其精确率,召回率,F1值分别至少提高了7.66％,7.56％,11.98％,且用时更短,说明本文的方法能够提高处理文本的时间效率.