基于Hadoop的关联规则挖掘算法研究--以Apriori算法为例

• 作者: 刘木林 朱庆华
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据挖掘 关联规则 Hadoop Apriori
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP393
• 字数: 5116字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.07.001

摘要

为了解决传统关联规则挖掘算法在挖掘效率、算法扩展性等方面无法适应大数据挖掘需求的问题，以经典的关联规则挖掘算法—Apriori算法为例，首先基于Hadoop平台和MapReduce编程模型，实现算法的并行化。在此基础上，基于事务缩减的思想对算法进行优化，进一步提高算法的挖掘效率。搭建Hadoop集群环境，对算法的挖掘结果和挖掘效率进行实验。通过并行挖掘结果验证、串行版与并行版效率对比、挖掘时间与节点数目的变化关系、挖掘时间与数据量的变化关系4组实验，结果表明：文中实现的Apriori算法不仅能够准确挖掘频繁项集，而且比传统串行算法具有更高的挖掘性能和可扩展性。该算法能够更好地适应大数据集的挖掘要求，能够实现从大规模数据集中高效挖掘频繁项集和关联规则。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱庆华	南京大学信息管理学院	272	4081	31.0	51.0
2	刘木林	南京大学信息管理学院	4	66	4.0	4.0