基于MapReduce的DHP算法并行化研究

• 作者: 吴庆军 周国军
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: MapReduce Hadoop DHP算法 关联规则
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 数据工程
• 页码范围: 47-50,91
• 页数: 5页
• 分类号: TP311.1
• 字数: 3933字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.06.012

摘要

针对DHP（direct hashing and pruning）算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题，对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型，设计了一种并行DHP算法，给出了算法的总体流程和Map函数、Reduce函数的算法描述。与DHP算法相比，并行算法利用了Hadoop集群强大的计算能力，提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行DHP算法的执行过程，在多个数据集上进行了实验。实验结果表明：并行DHP算法对大数据具有较好的加速比和可扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周国军	玉林师范学院数学与信息科学学院	24	76	4.0	7.0
2	吴庆军	玉林师范学院数学与信息科学学院	33	81	5.0	6.0