基于Hadoop的Web日志挖掘

• 作者: 程苗 陈华平
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 云计算 Hadoop架构 Map/Reduce编程模式 Web日志挖掘 遗传算法 偏爱访问路径
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 云计算专题
• 页码范围: 37-39
• 分类号: TP311
• 字数: 4699字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2011.11.013

摘要

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法.为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径.实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈华平	中国科学技术大学计算机科学与技术学院	72	1503	19.0	36.0
2	程苗	中国科学技术大学管理学院	3	164	3.0	3.0