基于Spark的FP_Growth算法的并行与优化

• 作者: 师胜利 张欣 石陆魁
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: FP_Growth算法 频繁项集挖掘 负载均衡 链头表结构 Spark
• 年，卷（期）: 2018,（13）
• 所属期刊栏目: 理论与研发
• 页码范围: 52-58,110
• 页数: 8页
• 分类号: TP311
• 字数: 5751字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1705-0114

摘要

PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法的执行效率.为了提高算法的执行效率,提出了一种基于Spark的RPFP算法,该算法对PFP_Growth算法在均衡分组和降低时间复杂度两方面进行优化,通过把负载大的项放在负载总和最小的组里面实现均衡分组,通过在链头表结构中加入一张哈希表达到快速访问元素地址的目的,从而降低时间复杂度.实验结果表明,RPFP通过优化PFP算法,有效提高了频繁项集的挖掘效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	师胜利	河北师范大学信息技术学院	9	52	4.0	7.0
2	石陆魁	河北工业大学计算机科学与软件学院	27	112	5.0	9.0
3	张欣	河北工业大学计算机科学与软件学院	2	28	2.0	2.0