基于Spark的并行频繁模式挖掘算法

• 作者: 于苹苹 倪建成 姚彬修 曹博 李淋淋
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 大数据 频繁模式挖掘 Top-k 模式树 并行计算
• 年，卷（期）: 2016,（20）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 86-91
• 页数: 6页
• 分类号: TP301.6
• 字数: 4776字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1605-0163

摘要

在大数据环境下Apriori频繁模式挖掘算法在数据处理过程具有预先设定最小阈值、时间复杂度高等缺陷，为此采用多阶段挖掘策略实现并行化频繁模式挖掘算法PTFP-Apriori。首先将预处理数据以模式树的形式存储，通过最为频繁的k个模式得到最优阈值。然后根据该值删除预期不能成长为频繁的模式以降低计算规模，并利用弹性分布式数据集RDD完成统计项集支持度计数、候选项集生成的工作。实验分析表明相比于传统的频繁模式挖掘算法，该算法具有更高的效率以及可扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	倪建成	曲阜师范大学软件学院	31	137	7.0	10.0
2	姚彬修	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
3	于苹苹	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
4	曹博	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
5	李淋淋	曲阜师范大学信息科学与工程学院	6	81	5.0	6.0