Hadoop环境下基于并行熵的FIUT算法挖掘

• 作者: 徐苏 晏依
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 数据挖掘 频繁项集 MapReduce编程模型 FIUT算法 并行熵 负载均衡
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 软件与算法
• 页码范围: 685-690,787
• 页数: 7页
• 分类号: TP311
• 字数: 6964字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2019.03.016

摘要

针对传统频繁项集挖掘算法效率低下的问题, 提出基于Hadoop平台的并行BMR-FIUT算法.通过引入FIU-Tree (frequent items ultrametric tree) 结构挖掘频繁项集, 避免传统算法的缺陷;改进FIUT算法的分解过程, 使之适应于Map-Reduce框架下的并行计算, 达到并行化的目的;利用并行熵作为集群系统的负载均衡度量, 使系统尽可能在各节点间合理分发数据以平衡负载.实验结果表明, BMR-FIUT算法能够有效减少并行化过程中节点负载倾斜的问题, 较现有的PFP-Growth算法具有更好的性能, 适用于海量数据挖掘.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐苏	南昌大学信息工程学院	32	184	7.0	12.0
2	晏依	南昌大学信息工程学院	1	3	1.0	1.0