面向大规模中文文本分类的朴素贝叶斯并行Spark算法

• 作者: 仰彦妍 刘亚峰 刘鹏 朱宗卫 滕家雨 赵慧含
• 来源期刊: 中南大学学报（英文版）
• 关键词: 中文文本分类 朴素贝叶斯 Spark Hadoop 弹性分布式数据集 并行化
• 年，卷（期）: 2019,（1）
• 页码范围: 1-12
• 页数: 12页
• 字数: 802字
• 语种: 英文

摘要

针对互联网中中文文本数据量激增使得对其作分类运算的处理时间显著延长的问题,提出并实现了一种基于内存计算模型Spark的并行朴素贝叶斯中文文本分类算法,主要利用弹性分布数据集编程模型,实现了朴素贝叶斯分类器训练过程和预测过程的全程并行化算法.为便于比较,同时实现了基于Hadoop-MapReduce的并行朴素贝叶斯版本.实验结果表明,在相同计算环境下,对同一数据量的中文文本集,基于Spark的朴素贝叶斯中文文本分类并行化算法在加速比、扩展性等主要指标上明显优于基于Hadoop的实现,因此能更好地满足大规模中文文本数据挖掘的要求.