FP-growth算法改进与分布式Spark研究

• 作者: 叶枫 娄渊胜 邓玲玲
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 频繁项集 FP-growth Spark 效率
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 基金项目
• 页码范围: 9-11,19
• 页数: 4页
• 分类号: TP311
• 字数: 3169字
• 语种: 中文

摘要

频繁项集的挖掘一直是数据挖掘领域重要的研究方向之一.FP-growth算法作为无剪枝算法的代表算法被广泛应用于事务数据集的挖掘中.但是FP-growth算法对计算和数据集的规模是敏感的,一方面构建FP-tree过程中查找操作作为主要耗时操作时间复杂度较高,另一方面在数据集的横向或纵向维度较大时将使挖掘效率降低甚至失败.解决以上问题的高效而广泛使用的策略是降低搜索时间复杂度和应用分布式计算.提出了一种基于Spark框架和改进FP-growth算法的分布式DFP算法,试验结果表明,相比于基于MapReduce框架的PFP算法、基于Spark框架和原始FP-growth算法实现的PFP SPK算法,DFP算法更加高效,集群和数据伸缩性更好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	娄渊胜	河海大学计算机与信息学院	38	335	10.0	17.0
2	叶枫	南京航空航天大学计算机科学与技术学院	10	99	5.0	9.0
3	邓玲玲	河海大学计算机与信息学院	2	54	2.0	2.0