一种基于Sqoop的数据交换系统

• 作者: 于金良 朱志祥 梁小江
• 来源期刊: 物联网技术
• 关键词: Sqoop 数据交换 Hadoop 大数据
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 学术研究 Academic Forum -- 可靠传输 Reliable Transmission
• 页码范围: 35-37
• 页数: 3页
• 分类号: TP274.2
• 语种: 中文
• DOI: 10.16667/j.issn.2095-1302.2016.03.010

摘要

Hadoop是一个可开源提供分布式服务的平台，由于其具有高可靠、高效、高容错性和很强的横向扩展性，因此在大数据领域应用非常广泛，是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中，以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的，并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统（HDFS）、非关系型数据库（HBase）、关系型数据仓库（Hive）中存储，从而实现数据交换。经测试，该系统可以完成数据交换的功能，系统总的传输速度可以达到20000条/秒。在网络畅通的条件下，没有数据丢失，保证了数据质量，可实现数据的高效、可靠传输。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志祥		95	692	13.0	21.0
2	于金良		9	90	6.0	9.0
3	梁小江		14	126	6.0	11.0