一种基于Spark的高效增量频繁模式挖掘算法

• 作者: 孙娇娇 毕慧敏 荀亚玲
• 来源期刊: 太原科技大学学报
• 学科: 工学
• 关键词: 频繁模式挖掘 增量数据挖掘 Spark 并行计算 负载均衡
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 大数据分析与并行计算
• 页码范围: 440-448
• 页数: 9页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1673-2057.2020.06.004

摘要

大规模且快速增长的数据集处理给频繁项集挖掘(FIM)带来新的挑战.尽管现有一些方法具有出色的可伸缩性,但不能充分利用了原始数据集的计算结果,且给分布式数据集处理带来了过多的通信开销.针对该问题问题,基于Spark平台提出一种高效的并行增量FIM算法(FCFPIM).FCFPIM结合完全压缩频繁模式树(FCFP-Tree)结构实现增量频繁模式的有效挖掘,当存在数据更新时,无需再重新遍历和挖掘原始数据集,充分利用了原始数据集的挖掘结果;并设计了有效的RDD转换策略以实现频繁模式的有效并行挖掘;另外,为进一步提高并行挖掘效率,引入了相关性分组策略来平衡集群计算节点之间的负载.大量的实验结果表明,FCFPIM可以很好地扩展并有效地处理大规模动态数据集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	荀亚玲		21	115	4.0	10.0
2	孙娇娇		1	0	0.0	0.0
3	毕慧敏		1	0	0.0	0.0