海量日志数据采集系统的设计与优化

• 作者: 付春燕 曹炳尧 李迎春 郭鹏程
• 来源期刊: 电子测量技术
• 学科: 工学
• 关键词: 数据采集 logstash 队列 大数据
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 研究与设计
• 页码范围: 12-17
• 页数: 6页
• 分类号: TP2
• 语种: 中文
• DOI: 10.19651/j.cnki.emt.1701060

摘要

现阶段网络数据巨大,为了从大量数据中发现特定情况的规律与特征,大数据时代需要实现对海量数据信息的分析,而一切数据分析的前提与关键是数据采集的完整性.但是目前许多数据采集结构并没有实现性能最优化,没有最大限度发挥服务器的性能,资源消耗大,那么从优化数据采集系统结构方向实现数据采集效率最大化,成为趋势.提出一种优化的数据采集结构,并通过其与原有简易结构对比分析,实测两者采集数据承载力,得到一种能够适应突发、并发网络环境的数据采集结构.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李迎春		52	174	7.0	11.0
2	曹炳尧		17	20	3.0	4.0
3	付春燕		4	3	1.0	1.0
4	郭鹏程		4	3	1.0	1.0