Hadoop 下负载均衡的频繁项集挖掘算法研究

• 作者: 朱文飞 洪剑珂 齐建东
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 频繁项集挖掘 FP-Growth 算法 Hadoop 并行计算
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 数据工程
• 页码范围: 35-39
• 页数: 5页
• 分类号: TP311
• 字数: 5277字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.05.010

摘要

频繁项集挖掘 FIM（Frequent Itemsets Mining）是关联规则挖掘算法的重要组成部分。而经典 Apriori 和 FP-Growth 算法在海量数据处理时面临内存占用、计算性能等方面的瓶颈。基于 Hadoop 云计算平台，提出适用大数据处理的频繁项集挖掘 HBFP （High Balanced parallel FP-growth）算法，设计后缀模式转换的数据分割及均衡任务分组方案，使计算节点本地拥有计算所依赖的数据，实现不同节点相互独立的并行数据挖掘方法，并保证算法全局的负载均衡特性。实验数据表明，HBFP 算法能均匀地将计算量分散至不同计算节点，并行且相互独立地进行 FP-Growth 挖掘过程，算法效率提高了约12％，算法全局稳定性及效率取得提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	齐建东	北京林业大学信息学院	38	230	9.0	13.0
2	洪剑珂	北京林业大学信息学院	2	8	2.0	2.0
3	朱文飞	北京林业大学信息学院	3	32	3.0	3.0