一种基于Hadoop架构的并行挖掘算法研究

• 作者: 曾俊
• 来源期刊: 现代电子技术
• 关键词: 挖掘算法 Hadoop架构 SPRINT 并行化 决策树 MapReduce
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 测控与自动化技术
• 页码范围: 117-119,124
• 页数: 4页
• 分类号: TN911.1-34|TP311
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2018.01.026

摘要

基于Hadoop架构,提出一种并行的决策树挖掘算法实现大数据集间的知识挖掘.通过MapReduce并行编程模式实现Hadoop架构下SPRINT并行挖掘算法的频繁项集,解决了大数据集挖掘效率低下,时间消耗量大的问题.SPRINT算法通过对原始数据集进行划分,并将分块数据发给不同Map进程并行计算,使系统存储和计算资源得到有效利用,运用Ma-pReduce各计算节点将挖掘结果数据汇聚,减少中间结果数据量,使并行挖掘时间显著减少.SPRINT算法并行化实验表明, Hadoop架构下的SPRINT并行挖掘算法具有良好的可扩展性和集群加速比.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曾俊	长江师范学院计算机工程学院	7	30	3.0	5.0