基于Hadoop的大数据频繁模式挖掘算法

• 作者: 李校林 杜托 谢勇
• 来源期刊: 微电子学与计算机
• 关键词: Hadoop 频繁模式 大数据
• 年，卷（期）: 2018,（9）
• 页码范围: 14-19
• 页数: 6页
• 分类号: TP311
• 语种: 中文

摘要

针对传统的频繁模式挖掘算法不能满足大数据环境下的挖掘需要,提出一种高效挖掘大型数据库中频繁模式的并行算法H_PrePost.首先从压缩数据库、简化数据表示以及采用高效的连接和剪枝策略等方面对PrePost算法进行改进,以提高单机模式下的挖掘效率.然后将改进算法迁移到Hadoop平台上,利用MapReduce模型进行并行计算,同时提出一种负载均衡策略保证集群高效运行.最后使用kulczynski度量和不平衡比对所挖掘的频繁模式进行评估,以确保所挖掘模式具有实际应用价值.实验结果表明,H_PrePost算法可以有效挖掘大数据集中的频繁模式.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李校林	重庆邮电大学通信新技术应用研究中心	72	471	10.0	18.0
5	谢勇	重庆邮电大学通信新技术应用研究中心	2	13	2.0	2.0
6	杜托	重庆邮电大学通信新技术应用研究中心	3	14	3.0	3.0