基于Hadoop/Hive的web日志分析系统的设计

• 作者: 刘永增 张晓景 李先毅
• 来源期刊: 广西大学学报（自然科学版）
• 学科: 工学
• 关键词: web日志 云计算 Hadoop Hive
• 年，卷（期）: 2011,（z1）
• 所属期刊栏目: 教育信息化新应用
• 页码范围: 314-317
• 分类号: TP391
• 字数: 2513字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-7445.2011.z1.062

摘要

互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大.如何存储、处理大规模数据就成了新的挑战.云计算技术的出现,为这类问题的解决提供了一种思路.云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算.Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理.但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序.这种程序处于比较低的层次,用户不容易掌握,而且难于维护.Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发.利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度.通过与单机实验的对比,证明系统是有效的和有价值的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李先毅	大连理工大学网络与信息化中心	20	240	8.0	15.0
2	张晓景	大连理工大学网络与信息化中心	5	74	4.0	5.0
3	刘永增	大连理工大学网络与信息化中心	1	58	1.0	1.0