基于Flume的XML数据自动收集系统

• 作者: 张晓龙
• 来源期刊: 科学技术与工程
• 学科: 工学
• 关键词: Flume XML 数据收集 HBase
• 年，卷（期）: 2013,（30）
• 所属期刊栏目: 研究简报
• 页码范围: 9061-9065
• 页数: 5页
• 分类号: TP274.2
• 字数: 2881字
• 语种: 中文

摘要

针对分布式系统中的数据收集,提出了一种基于Flume的XML数据自动收集系统.根据实际需求,系统设计了一种新型的多层星状拓扑结构,以满足数据收集实时性的要求.该系统能够自动检测指定存储位置的XML数据更新,解析XML文本后存储到HBase数据库中.在测试中,该系统中各机器的平均处理速度能够达到550 Kb/s,系统总处理平均速度能够达到1 650 Kb/s.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张晓龙	北京邮电大学理学院	1	4	1.0	1.0