一种基于MapReduce的并行FP-growth算法

• 作者: 杨勇 王伟
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: Hadoop Mapreduce FP-growth 数据挖掘 云计算 关联规则
• 年，卷（期）: 2013,（5）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 651-657,670
• 页数: 8页
• 分类号: TP181
• 字数: 5722字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2013.05.016

摘要

FP-growth算法是不产生候选集的关联规则挖掘算法,在许多领域中具有很高的实际应用价值.然而经典的FP-growth算法是内存驻留算法,只能处理小数据集,在面对海量数据集时显得无能为力.对经典FP-growth算法中FP-tree的结构和挖掘过程进行了改进,分析了FP-tree单路径和多路径的不同挖掘方法,提出了一个剪枝策略,在挖掘过程中减少了部分分支的迭代次数.然后利用云计算的MapReduce编程技术,对改进的FP-growth算法的各个步骤并行化.实验结果表明改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有较好的加速比和良好的扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨勇	重庆邮电大学计算机科学与技术研究所	38	392	11.0	18.0
2	王伟	重庆邮电大学计算机科学与技术研究所	61	272	9.0	14.0