Hadoop框架下的一种改进的Apriori算法

• 作者: 姜富山 王青松
• 来源期刊: 辽宁大学学报（自然科学版）
• 学科: 工学
• 关键词: Apriori Hadoop 频繁项集 分布式计算 大数据 MapReduce
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 257-264
• 页数: 8页
• 分类号: TP301.6
• 字数: 5020字
• 语种: 中文

摘要

常见的基于Hadoop框架的Apriori改进算法在统计支持度时有扫描数据集、候选项集剪枝等方面效率低下且集群间的数据传输有较大的时间开销的问题,提出了一种Apriori的改进算法Apriori_Ind.算法运用Hadoop集群,使用先按事务对数据集分块,再将数据集的格式转换为<项,事务集>的分块处理策略,使算法充分利用分布式计算优势,实现各节点并行的实现候选项集生成与剪枝操作.并利用前项与后项的新结构表示频繁项集,新结构在各节点进行候选项集生成和剪枝时提高算法效率.Apriori_Ind具有减小集群传输代价、加速剪枝等优势.实验表明新算法适合大规模数据挖掘,特别是项的数量较大的情况下,算法性能有明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王青松	辽宁大学信息学院	20	83	5.0	9.0
2	姜富山	辽宁大学信息学院	2	2	1.0	1.0