基于Hadoop集群的日志分析系统的设计与实现

• 作者: 陈张杰 陈森博
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 分布式计算 日志分析 HADOOP 集群 VMWARE
• 年，卷（期）: 2013,（12）
• 页码范围: 7647-7650
• 页数: 4页
• 分类号: TP311

摘要

当前Internet上存在着海量的日志数据，他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务，单一主机已经无法满足要求，使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟，被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状，使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法，并对实验结果进行了分析。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈张杰		11	28	4.0	4.0
2	陈森博	南通大学计算机科学与技术学院	16	38	4.0	5.0