基于MapReduce的Hadoop大表导入编程模型

• 作者: 乐嘉锦 陈吉荣
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 编程模型 Hadoop MapReduce Hadoop分布式文件系统 Sqoop
• 年，卷（期）: 2013,（9）
• 所属期刊栏目: 数据库技术
• 页码范围: 2486-2489,2561
• 页数: 5页
• 分类号: TP311.1|TP311.5
• 字数: 4674字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2013.09.2486

摘要

针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型.该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同.该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数.对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同；而对于同一个大表,模型的导入效率比Sqoop有显著提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	乐嘉锦	东华大学计算机科学与技术学院	131	1480	20.0	32.0
2	陈吉荣	东华大学计算机科学与技术学院	4	237	4.0	4.0