基于Spark框架的FP-Growth大数据频繁项集挖掘算法

• 作者: 何星舟 尚俊娜 邵梁
• 来源期刊: 计算机应用研究
• 关键词: 大数据 频繁项集挖掘 Spark框架 FP-Growth算法 垂直布局
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2932-2935
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.10.012

摘要

针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法.首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FP-Growth算法构建频繁模式树,并生成频繁1-项集;接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸;最后,通过迭代过程来生成频繁k-项集.在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尚俊娜	杭州电子科技大学通信工程学院	83	474	11.0	17.0
2	何星舟	浙江工业大学学生处	22	46	4.0	6.0
3	邵梁	浙江建设职业技术学院教育技术中心	8	22	3.0	4.0