IABS:一个基于Spark的Apriori改进算法

• 作者: 侯传旺 刘建英 罗军 闫梦洁
• 来源期刊: 计算机应用研究
• 关键词: Apriori算法 频繁项集 存储结构转换 Spark 内存计算
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2274-2277
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.08.007

摘要

Apriori算法是关联规则挖掘中最经典的算法之一,其核心问题是频繁项集的获取.针对经典Apriori算法存在的需多次遍历事务数据库及需产生候选项集等问题,首先通过转换存储结构、消除候选集产生过程等方法对Apriori算法进行优化;同时,随着大数据时代的到来,数据量与日俱增,传统算法面临巨大挑战,将优化的Apriori与Spark相结合,充分利用Spark的内存计算、弹性分布式数据集等优势,提出了IABS(improved Apriori algorithm based on Spark).通过与已有的同类算法进行比较,IABS的数据可扩展性和节点可扩展性得以验证,并且在多种数据集上平均获得了23.88%的性能提升,尤其随着数据量的增长,性能提升更加明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗军	国防科学技术大学计算机学院	15	329	8.0	15.0
2	闫梦洁	国防科学技术大学计算机学院	1	14	1.0	1.0
3	刘建英	国防科学技术大学计算机学院	1	14	1.0	1.0
4	侯传旺	国防科学技术大学计算机学院	1	14	1.0	1.0