Spark框架下利用分布式NBC的大数据文本分类方法

• 作者: 席运江 臧艳辉 赵雪章
• 来源期刊: 计算机应用研究
• 关键词: 文本分类 MapReduce Spark框架 分布式 朴素贝叶斯分类器 机器学习
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3705-3708,3712
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.07.0407

摘要

针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法.通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有面向大数据的计算框架.首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为m类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,采用四个MapReduce作业得出模型.该设计过程充分利用了MapReduce的并行优势,最后在分类器测试时取出最大值所属的类标签值.在Newgroups数据集进行实验,在所有五类新闻数据组上的分类都取得了99％以上的结果,并且均高于对比算法,证明了提出方法的准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵雪章		20	57	4.0	7.0
2	席运江		28	270	8.0	16.0
3	臧艳辉		4	3	1.0	1.0