基于Spark的PFP-Growth并行算法优化实现

• 作者: 张功萱 方向
• 来源期刊: 现代电子技术
• 关键词: 并行化 Spark 关联挖掘 PFP-Growth
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 计算机应用技术
• 页码范围: 9-13
• 页数: 5页
• 分类号: TN911-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.08.003

摘要

随着数据量的增大，FP?Growth算法压缩数据思想的优势就体现出来，基于MapReduce框架的PFP?Growth算法实现该算法在Hadoop平台上的并行化，但是MapReduce框架每次对作业进行操作都要将中间结果输出存储到磁盘，影响算法的效率。为了提高关联挖掘的效率，基于Spark平台，运用均衡分组的思想对该算法进行改进，同时在对具有很长前缀情况进行共享前缀的拆分，通过4个步骤使IPFP?Growth算法在Spark上实现。实验结果表明在Spark平台上优化过后的算法在性能上要优于PFP?Growth算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张功萱	南京理工大学计算机科学与技术学院	57	386	9.0	17.0
2	方向	南京理工大学计算机科学与技术学院	1	12	1.0	1.0