一种新型的基于Hadoop框架的分布式并行FP-Growth算法

• 作者: 丁铁凡 刘鹏飞 孙燕 张振友
• 来源期刊: 河北工业科技
• 学科: 工学
• 关键词: 并行处理 分布式 数据挖掘 闭频繁项集 Hadoop FP-Growth
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 应用技术
• 页码范围: 169-177
• 页数: 9页
• 分类号: TP311.1
• 字数: 6743字
• 语种: 中文
• DOI: 10.7535/hbgykj.2016yx02013

摘要

针对传统FP-Growth算法在大规模数据环境下存在的挖掘效率低和内存溢出问题,在传统FP-Growth算法的基础上,提出一种新的并行FP-Growth算法,并在分布式计算框架Hadoop的MapReduce编程模式下实现并行化处理.实验数据表明,并行的FP-Growth算法与传统的FP-Growth算法相比,具有相同数据量下计算时间短,相同时间内处理数据量增大的优点,并在一定条件下解决了大数据挖掘的内存溢出问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张振友	华北理工大学信息工程学院	15	47	4.0	6.0
2	刘鹏飞	华北理工大学信息工程学院	13	38	3.0	6.0
3	孙燕	华北理工大学信息工程学院	4	31	3.0	4.0
4	丁铁凡	华北理工大学信息工程学院	2	27	2.0	2.0