基于Hadoop平台的改进关联规则挖掘算法

• 作者: 柴佳佳 王英博 赵彬 马菁
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Hadoop平台 MapReduce编程 关联规则 大数据 数据挖掘
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 69-74,79
• 页数: 7页
• 分类号: TP338.6
• 字数: 6000字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.10.012

摘要

数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制.针对该问题,对传统挖掘算法进行改进.借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取.实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王英博	辽宁工程技术大学软件学院	38	255	10.0	14.0
2	马菁	辽宁工程技术大学软件学院	2	19	2.0	2.0
3	柴佳佳	辽宁工程技术大学软件学院	3	20	2.0	3.0
4	赵彬	辽宁工程技术大学软件学院	4	28	2.0	4.0