基于MapReduce的频繁模式挖掘算法的优化

• 作者: 张超 王怀彬 王波
• 来源期刊: 天津理工大学学报
• 学科: 工学
• 关键词: MapReduce 频繁模式挖掘 FP-growth算法 平衡算法
• 年，卷（期）: 2018,（1）
• 页码范围: 6-11
• 页数: 6页
• 分类号: TP301.6
• 字数: 4052字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-095X.2018.01.002

摘要

分布式数据挖掘计算是大数据研究中非常重要的技术,现有的对频繁模式的分布式挖掘方法在处理大量数据集时仍然存在许多局限,如并行Apriori算法在多次扫描数据库过程中对I/O产生很大负担,并且有大量候选集产生.本文使用的FP-growth算法包括Fp-tree构建和频繁模式挖掘两个阶段.主要思想是在map阶段构建FP-tree之前,根据步长值及项目元素编码对FP-tree节点合并,并在shuffle阶段依据平衡算法划分给不同的reducer.平衡算法用来均衡工作负载.利用该算法来降低数据分配的随机性,避免数据挖掘阶段由于数据划分不均衡导致部分reducer开销过大的缺点.实验结果表明:与现有方法相比,在较大数据集情况下改进后的算法具有更好地运算效率和可伸缩性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王怀彬	天津理工大学计算机科学与工程学院	41	139	7.0	10.0
2	张超	天津理工大学计算机科学与工程学院	15	35	3.0	5.0
3	王波	天津理工大学计算机科学与工程学院	3	6	2.0	2.0