分布式频繁项集挖掘算法

• 作者: 陈明洁
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 频繁项集挖掘 分布式算法 Spark MapReduce
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 数据工程
• 页码范围: 63-66
• 页数: 4页
• 分类号: TP3
• 字数: 4879字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.10.014

摘要

传统的频繁项集挖掘方法具有一定的局限性。Apriori 算法需要重复扫描输入数据，导致很高的 I ／O 负载，算法性能不高；Fp-growth 算法需要在内存中建立 Fp-tree 并根据 Fp-tree 挖掘频繁项集，导致算法受到计算机的内存限制。在大数据时代，由于挖掘数据规模十分巨大，更加凸显这些传统算法的局限性。对此，一方面改进传统的频繁项集挖掘算法，另一方面基于 Spark 框架实现分布式频繁项集挖掘算法（FIMBS）。实验结果表明，该算法相比基于 MapReduce 框架的关联规则算法具有显著的优势。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈明洁	上海市公安局科技处	4	39	3.0	4.0