基于项编码的分布式频繁项集挖掘算法

• 作者: 邓晓衡 郑静益
• 来源期刊: 计算机应用研究
• 关键词: 频繁项集挖掘 Apriori算法 大数据 分布式计算
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1059-1063,1067
• 页数: 6页
• 分类号: TP391|TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.11.0791

摘要

Apriori算法是解决频繁项集挖掘最常用的算法之一,但多轮迭代扫描完整数据集的计算方式,严重影响算法效率且难以并行化处理.随着数据规模的持续增大,这一问题日益严重.针对这一问题,提出了一种基于项编码和Spark计算框架的Apriori并行化处理方法——IEBDA算法,利用项编码完整保存项集信息,在不重复扫描完整数据集的情况下完成频繁项集挖掘,同时利用Spark的广播变量实现并行化处理.与其他分布式Apriori算法在不同规模的数据集上进行性能比较,发现IEBDA算法从第一轮迭代后加速效果明显.结果 表明,该算法可以提高大数据环境下多轮迭代的频繁项集挖掘效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邓晓衡	中南大学软件学院	92	703	13.0	21.0
2	郑静益	中南大学软件学院	2	1	1.0	1.0