Hadoop平台下的并行Web日志挖掘算法

• 作者: 周诗慧 殷建
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Hadoop框架 Web挖掘 Web日志 MapReduce编程模式 Hadoop分布式文件系统 并行FP-growth算法
• 年，卷（期）: 2013,（6）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 43-46
• 页数: 4页
• 分类号: TP18
• 字数: 3939字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2013.06.008

摘要

当面对海量数据时，基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题，提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法，利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明，该算法的加速比能随着数据集的增大而提高，其执行效率优于串行FP-growth算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	殷建	山东大学威海机电与信息工程学院	5	23	2.0	4.0
2	周诗慧	山东大学威海机电与信息工程学院	1	17	1.0	1.0