基于大数据技术的IT基础设施日志分析系统设计与实现

• 作者: 尹兆涛 张春生 郭长杰
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: IT基础设施 Hadoop 日志分析 系统架构
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 研究与设计
• 页码范围: 49-52
• 页数: 4页
• 分类号: TP311
• 字数: 4086字
• 语种: 中文

摘要

针对IT运维人员对基础设施各类日志进行统一管理和查询的需求,分析、设计了基于Hadoop的日志系统功能架构、技术架构以及应用场景.系统通过Rsyslog统一收集各类日志数据,利用Hive对日志进行进一步清洗和转换,将海量日志数据分类存储于HDFS,按业务规则统计分析日志信息,将计算结果定时导入MySQL数据库用于前端展示.系统实现了日志统一收集、分析处理、查询告警等功能,为IT运维人员提前发现系统故障、排查安全隐患提供有效工具.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张春生		6	17	2.0	4.0
2	郭长杰		5	15	2.0	3.0
3	尹兆涛		6	28	3.0	5.0