基于Spark的Apriori并行算法优化实现

• 作者: 杨显华 王青 谭良
• 来源期刊: 郑州大学学报（理学版）
• 学科: 工学
• 关键词: Spark 并行化 数据挖掘 关联规则 Apriori
• 年，卷（期）: 2016,（4）
• 页码范围: 60-64
• 页数: 5页
• 分类号: TP301.6
• 字数: 4238字
• 语种: 中文
• DOI: 10.13705/j.issn.1671-6841.2016667

摘要

针对传统Apriori算法处理速度和计算资源的瓶颈，以及Hadoop平台上Map-Reduce计算框架不能处理节点失效、不能友好支持迭代计算以及不能基于内存计算等问题，提出了Spark下并行关联规则优化算法。该算法只需两次扫描事务数据库，并充分利用Spark内存计算的RDD存储项集。与传统Apriori算法相比，该算法扫描事务数据库的次数大大降低；与Hadoop下Apriori算法相比，该算法不仅简化计算，支持迭代，而且通过在内存中缓存中间结果减少I/O花销。实验结果表明，该算法可以提高关联规则算法在大数据规模下的挖掘效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谭良	四川师范大学计算机科学学院	97	1102	16.0	29.0
5	杨显华		4	14	1.0	3.0
6	王青	四川师范大学计算机科学学院	2	20	2.0	2.0