基于Spark的并行FP-Growth算法优化与实现

• 作者: 杜萍萍 桂伟 江雨燕 陆可
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 频繁模式挖掘 FP-Growth算法 分布式计算 Spark框架
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 算法
• 页码范围: 273-278
• 页数: 6页
• 分类号: TP3
• 字数: 4826字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2017.09.053

摘要

频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注.FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中.然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算.针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配.运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率.实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	江雨燕	安徽工业大学管理科学与工程学院	50	267	9.0	13.0
2	陆可	安徽工业大学管理科学与工程学院	9	24	2.0	4.0
3	杜萍萍	安徽工业大学管理科学与工程学院	3	12	2.0	3.0
4	桂伟	安徽工业大学管理科学与工程学院	3	16	2.0	3.0