基于开源技术的网络数据采集系统设计

• 作者: 尧炜
• 来源期刊: 邮电设计技术
• 学科: 工学
• 关键词: Flume Kafka 网络数据 实时采集 批量采集
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: ?本期关注/Monthly Focus
• 页码范围: 29-32
• 页数: 4页
• 分类号: TP311
• 字数: 3182字
• 语种: 中文
• DOI: 10.16463/j.cnki.issn1007-3043.2015.12.006

摘要

通过分析网络数据采集的特点，提出了网络数据采集系统的设计目标，即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。采用Flume、Kafka、Storm、Hadoop等开源技术完成了系统架构设计。对架构实施可能面临的挑战提出了应对策略。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尧炜		3	23	2.0	3.0