基于负载均衡和冗余剪枝的并行FP-Growth算法

• 作者: 任敏 伊静 刘培玉 刘祥哲 高钊
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 关联规则 MapReduce 冗余剪枝 FP-Growth算法
• 年，卷（期）: 2016,（1）
• 页码范围: 223-230
• 页数: 8页
• 分类号: TP311.13
• 字数: 5843字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2016.01.025

摘要

针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法.首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值,将估计值远大于其他节点的分组进行分割,平均到其他分组中,并且对不同分组中重复的列表元素进行截断,去除冗余数据.实验表明,本文提出的算法能够有效防止并行化的数据倾斜,减少数据冗余,在时间和空间复杂度上要低于以前的并行化FP-Growth算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘培玉	山东师范大学信息科学与工程学院	126	1276	18.0	27.0
5	任敏	山东师范大学信息科学与工程学院	7	91	5.0	7.0
7	伊静	山东师范大学信息科学与工程学院	12	72	5.0	8.0
13	刘祥哲	山东师范大学信息科学与工程学院	1	12	1.0	1.0
17	高钊		1	12	1.0	1.0