基于MapReduce的Apriori算法并行化改进

• 作者: 秦军 董倩倩 郝天曙
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 关联规则 数据挖掘 MapReduce Apriori
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 64-68
• 页数: 5页
• 分类号: TP301.6
• 字数: 4220字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.04.015

摘要

基于MapReduce的并行Apriori算法解决了传统Apriori算法多次扫描数据库的问题,但是其候选集仍然由频繁项集经过串行自连接产生,并产生了大量的候选集中间数据.为了提高Apriori算法挖掘频繁项集的效率,在基于MapReduce的Apriori算法的基础上对连接步进行并行化改进,提出大数据环境下挖掘频繁项目集的新算法-CApriori算法.新算法通过Map、Reduce过程从频繁 k- 项集中并行得到 k+1 项候选集,使得Apriori算法产生频繁项集的整个过程并行化,减少了迭代过程中候选集数目,节约了存储空间和时间开销.通过对时间复杂度进行分析比较,改进算法在处理大规模数据时会大大减少连接步的时间消耗.将CApriori算法在Hadoop平台上进行了实验,结果表明改进算法在大数据和较小支持度环境下都具有更高的效率,且能取得优异的加速功能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦军	南京邮电大学教育科学与技术学院	91	805	14.0	24.0
2	郝天曙	南京邮电大学计算机学院	3	26	3.0	3.0
3	董倩倩	南京邮电大学计算机学院	2	21	2.0	2.0