基于 Hadoop的并行 FP-Growth算法的研究与实现

• 作者: 施亮 钱雪忠
• 来源期刊: 微电子学与计算机
• 关键词: 关联规则 数据挖掘 负载均衡 FP-Grow th 并行计算
• 年，卷（期）: 2015,（4）
• 页码范围: 150-154
• 页数: 5页
• 分类号: TP301.6
• 语种: 中文

摘要

在PFP（Parallel FP‐Growth）算法的基础上提出了一种负载均衡并行的挖掘算法 LBPFP（Load‐Balanced Parallel FP‐Grow th）算法，该算法在Hadoop框架实现并行计算的同时，在数据分发中利用负载均衡策略，使主节点均衡地向子节点分配数据。除此之外，在子节点进行数据处理的过程中利用剪枝策略，减少数据的处理量，该算法在提高并行计算能力的同时也大大缩小了数据的处理量。最后，通过实验分析表明该算法在大数据的处理中具有较好的效果，证实了该算法的可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱雪忠	江南大学物联网工程学院	92	741	15.0	22.0
2	施亮	江南大学物联网工程学院	8	61	4.0	7.0