基于存储改进的分区并行关联规则挖掘算法

• 作者: 曲海成 王永贵 谢南
• 来源期刊: 计算机应用研究
• 关键词: 关联规则 大数据 候选集 布隆过滤器 Spark
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 167-171
• 页数: 5页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.06.0396

摘要

针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高、挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法.该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的.算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王永贵	辽宁工程技术大学软件学院	47	293	10.0	15.0
2	曲海成	辽宁工程技术大学软件学院	52	387	11.0	18.0
3	谢南	辽宁工程技术大学软件学院	1	0	0.0	0.0