基于MapReduce的频繁项集并行挖掘算法

• 作者: 杨金民 马强
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 频繁项集 FP-growth MapReduce 条件模式基 NFP-tree 并行
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 综合评述
• 页码范围: 13-16,101
• 页数: 5页
• 分类号: TP3
• 字数: 5036字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.09.004

摘要

现有FP-growth频繁集挖掘算法在处理大数据时存在时空效率不高的问题，且内存的使用随着数据的增加已经无法满足把待挖掘数据压缩存储在单个内存中，为此，提出一种基于MapReduce模型的频繁项集并行挖掘算法。该算法采用一种基于key／value键值对直接扫描value寻找条件模式基的方式，同时通过在原有FP-tree树节点中新增一个带频繁项前缀的域空间来构建一颗新的条件模式树NFP-tree，使得对一项频繁项的条件模式基进行一次建树一次遍历就可以得到相应的频繁项集。对所提出的算法在Hadoop平台进行了验证与分析，实验结果表明该算法效率较传统FP-growth算法平均提高16．6％。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨金民	湖南大学信息科学与工程学院	55	424	12.0	18.0
2	马强	湖南大学信息科学与工程学院	1	9	1.0	1.0