基于Spark平台的FP-Growth算法优化与实现

• 作者: 黄婕
• 来源期刊: 湖南工业大学学报
• 学科: 工学
• 关键词: Spark 关联规则 频繁项集 FP-Growth
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 信息技术
• 页码范围: 77-84
• 页数: 8页
• 分类号: TP311
• 字数: 5387字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-9833.2020.01.013

摘要

针对FP-Growth算法面对海量数据挖掘时串行操作机制出现内存瓶颈或者数据挖掘失效等问题,提出将基于Spark平台的FP-Growth算法在数据分组策略和项头表结构两方面进行优化.一方面提出一种S型的负载权值均衡分组的方式;另一方面,设计出一种新的项头表结构,此结构包含Hash查找表,能有效降低查找时间复杂度.实验证明,优化的基于Spark平台的FP-Growth算法(OptFP-Spark算法)具有更高的并行运算加速比、更好的并行挖掘效果及更高效的计算效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄婕		15	7	1.0	2.0