基于Flume的MySQL数据自动收集系统

• 作者: 于金良 朱志祥 梁小江
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Flume MySQL数据库 数据收集 HBase JDBC
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 应用开发研究
• 页码范围: 137-141
• 页数: 5页
• 分类号: TP274.2
• 字数: 3615字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.12.030

摘要

针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1111 kb/s,系统总的平均传输速度可以达到3333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志祥		95	692	13.0	21.0
2	于金良		9	90	6.0	9.0
3	梁小江		14	126	6.0	11.0