基于Hadoop的Dirichlet朴素贝叶斯文本分类算法

• 作者: 孟海东 宋宇辰 肖银龙
• 来源期刊: 现代电子技术
• 关键词: 文本分类 云计算 MapReduce 朴素贝叶斯文本 数据平滑
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 科学计算与信息处理
• 页码范围: 29-33
• 页数: 5页
• 分类号: TN911-34|TP311
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.04.008

摘要

针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类任务时存在的数据稀疏以及效率低的问题,提出了一种基于Hadoop的Dirichlet朴素贝叶斯文本分类算法.该算法引入统计语言建模技术中的Dirichlet数据平滑方法,采用MapReduce编程模型,在Hadoop云计算平台上实现了算法的并行化.通过实验对比分析了该算法与传统朴素贝叶斯文本分类算法对大规模文本数据的分类效果.结果表明,该算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率,且具有高效性和易扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟海东	内蒙古科技大学信息工程学院	125	679	13.0	20.0
2	宋宇辰	内蒙古科技大学经济与管理学院	60	366	10.0	17.0
3	肖银龙	内蒙古科技大学信息工程学院	2	13	2.0	2.0