基于Hadoop的Apriori算法研究与优化

• 作者: 孙学波 石飞达
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: Apriori算法 数据挖掘算法 分布式实现 Hadoop平台 MapReduce框架
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 软件与算法
• 页码范围: 126-133,145
• 页数: 9页
• 分类号: TP311|TP393
• 字数: 6476字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2018.01.023

摘要

为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及MapReduce框架进行分布式计算,实现Apriori经典数据挖掘算法.通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进.提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法.实验结果验证了改进算法对算法运行具有良好的优化效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙学波	辽宁科技大学软件学院	14	45	5.0	6.0
2	石飞达	辽宁科技大学软件学院	1	9	1.0	1.0